Hibiki

Hibiki – Kyutai Labs 推出的實時語音翻譯模型

Hibiki是Kyutai Labs開發的一款開源解碼器模型，專注于實時語音翻譯。它能夠將一種語言的語音即時轉換為另一種語言的語音或文本，基于先進的多流語言模型架構，Hibiki同時處理源語言和目標語言的語音，聯動生成文本與音頻標記，從而實現語音到語音（S2ST）和語音到文本（S2TT）的翻譯功能。

Hibiki是什么

Hibiki是Kyutai Labs推出的一款開源解碼器模型，旨在實現實時的語言翻譯。它可以將一種語言的語音轉化為另一種語言的語音或文本。Hibiki依托多流語言模型架構，能夠同步處理源語音與目標語音，聯合生成文本和音頻標記，具備語音到語音（S2ST）和語音到文本（S2TT）的翻譯功能。通過弱監督學習方法，Hibiki根據文本翻譯系統的困惑度識別最佳的單詞級延遲，從而創建對齊的合成數據進行訓練。該模型在法語到英語的翻譯任務中表現優異，展現出高翻譯質量、說話者的音色保真度和自然度，同時支持批量翻譯和實時設備端部署，顯示了強大的實用潛力。

Hibiki

Hibiki的主要功能

實時語音到語音翻譯（S2ST）：能夠將一種語言的語音實時翻譯為另一種語言的語音，保持說話者的音色和語調。
實時語音到文本翻譯（S2TT）：將語音實時轉換為目標語言的文本，提供更多的使用場景選擇。
低延遲翻譯：通過實時積累上下文信息，逐塊生成翻譯內容，延遲極低，接近人類口譯的水平。
高保真度：生成的語音自然流暢，與源語音的音色和語調高度相似，用戶體驗接近專業人類口譯。
支持批量和實時部署：推理過程簡單高效，支持批量處理以及實時設備端部署，適合大規模應用。

Hibiki的技術原理

多流語言模型架構：
- 同步處理：同時接收源語音并生成目標語音，基于多流架構聯合建模兩個音頻流。
- 文本和音頻標記：模型預測文本與音頻標記的層次結構，實現語音到文本和語音到語音的翻譯。
- 因果音頻編解碼器：利用預訓練的因果音頻編解碼器（如Mimi）將語音編碼為低幀率的離散標記，支持實時流式處理。
弱監督學習與上下文對齊：
- 合成數據生成：基于翻譯單語音頻的轉錄文本重新合成目標語音，生成對齊的合成數據。
- 上下文對齊：利用現成文本翻譯系統的困惑度，計算單詞級對齊，確保目標語音的生成與源語音的上下文保持同步。
- 靜音插入與對齊感知TTS：通過插入靜音或利用對齊感知的TTS模型重新合成目標語音，確保目標語音的延遲符合實時翻譯的需求。
說話者相似性與分類器引導：
- 說話者相似性標記：對訓練數據進行說話者相似性分類標記，確保在推理時優先選擇高相似性樣本。
- 分類器引導：調整條件標簽的權重，增強模型對說話者相似性的控制，進一步提升語音的保真度。
高效的推理過程：
- 溫度采樣：運用溫度采樣技術，結合因果音頻編解碼器，實現流式輸入與輸出。
- 批量處理與實時部署：推理過程簡單高效，支持批量處理和實時設備端部署，適合大規模應用。