让我们看看演示视频吧!

Ultravox 是一种新型的多模态 LLM,它可以理解文本和人类语音,而无需单独的音频语音识别 (ASR) 阶段。

Ultravox (v0.4) 在使用音频内容调用时,第一个令牌的时间 (TTFT) 约为 150 毫秒,使用 Llama 3.1 8B 主干网的令牌速率为每秒 ~60。

Github地址:https://github.com/fixie-ai/ultravox

在线体验:https://huggingface.co/spaces/freddyaboulton/talk-to-ultravox



微信扫描下方的二维码阅读本文

Ultravox,开源多模态实时语音模型,可接收音频并发出流文本插图

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。