7 月 9 日消息，阿里云通義千問開源了兩款語音基座模型 SenseVoice（用于語音識別）和 CosyVoice（用于語音生成）。
SenseVoice 專注于高精度多語言語音識別、情感辨識和音頻事件檢測，有以下特點：
多語言識別：采用超過 40 萬小時數據訓練，支持超過 50 種語言，識別效果上優于 Whisper 模型
富文本識別：具備優秀的情感識別，能夠在測試數據上達到和超過目前最佳情感識別模型的效果；支持聲音事件檢測能力，支持音樂、掌聲、笑聲、哭聲、咳嗽、噴嚏等多種常見人機交互事件進行檢測
高效推理： SenseVoice-Small 模型采用非自回歸端到端框架，推理延遲極低，10s 音頻推理僅耗時 70ms，15 倍優于 Whisper-Large
微調定制：具備便捷的微調腳本與策略，方便用戶根據業務場景修復長尾樣本問題
服務部署：具有完整的服務部署鏈路，支持多并發請求，支持的客戶端語言有 python、c++、html、java 與 c#等
與開源情感識別模型進行對比，SenseVoice-Large 模型可以在幾乎所有數據上都達到了最佳效果，而 SenseVoice-Small 模型同樣可以在多數數據集上取得超越其他開源模型的效果。
CosyVoice 模型同樣支持多語言、音色和情感控制，該模型在多語言語音、零樣本語音生成、跨語言語音克隆和指令跟隨等功能方面表現出色。
本站內容除特別聲明的原創文章之外，轉載內容只為傳遞更多信息，并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經濟損失。聯系電話：010-82306118；郵箱：aet@chinaaet.com。