WhisperFusion

WhisperFusion官网

AI实时对话，超低延迟

WhisperFusion简介

需求人群：

"用户可以通过使用预构建的TensorRT-LLM Docker容器快速开始与WhisperFusion进行交互。同时，也可以构建适用于不同cuda架构的docker镜像。"

使用场景示例：

1. 在网站上与WhisperFusion的AI进行实时对话

2. 通过WhisperFusion的小程序进行语音转文字交互

3. 使用WhisperFusion插件在桌面客户端上进行实时语音识别

产品特色：

实时语音转文字：利用OpenAI WhisperLive实现实时语音转文字。

大型语言模型集成：整合Mistral大型语言模型，增强对转录文本的理解和语境。

TensorRT优化：LLM和Whisper均优化为TensorRT引擎，确保高性能和低延迟处理。

torch.compile：WhisperSpeech使用torch.compile来加速推断，通过将PyTorch代码即时编译为优化内核，使PyTorch代码运行更快。

WhisperFusion官网入口网址

https://github.com/collabora/WhisperFusion

小编发现WhisperFusion网站非常受用户欢迎，请访问WhisperFusion网址入口试用。