Higgs Audio V2 – 開源語音大模型，能模擬多人互動場景

Higgs Audio V2 是由李沐及其團隊 Boson AI 傾力打造的開源語音大模型。它基于海量音頻數據訓練而成，具備多語言對話生成、韻律自動調整、語音克隆以及歌聲合成等強大功能。該模型能夠模擬流暢自然的對話，并根據說話者的情緒和語調進行智能調整，同時支持低延遲的實時語音交互。

Higgs Audio V2：開啟語音新紀元

Higgs Audio V2，由李沐及其團隊 Boson AI 精心研發，是一款引領潮流的開源語音大模型。它以超過千萬小時的音頻數據為基石，集成了多項創新技術，致力于為用戶帶來前所未有的語音體驗。

核心功能一覽

• 多語種對話生成： 輕松駕馭多種語言，模擬多人對話場景，并智能調節說話者的情緒與能量，讓交流更自然流暢。
• 韻律智能調整： 在長篇文本朗讀中，自動調整語速、停頓和語調，無需手動干預，即可生成流暢自然的語音輸出。
• 語音克隆與歌聲合成： 僅需提供簡短語音樣本，即可實現零樣本語音克隆，復制特定人物的聲音特質，甚至還能讓克隆的聲音演繹旋律。
• 實時語音交互： 具備低延遲響應能力，能夠理解用戶的情感并進行情感化表達，帶來近乎人類的交互體驗。
• 語音與背景音樂同步生成： 輕松實現語音與背景音樂的同步生成，為“寫一首歌并唱出來”的創作流程提供強大支持。

技術亮點

• AudioVerse 數據集： 借助一套自動化標注流程，結合多種先進模型，精心清洗并標注了海量音頻數據，為模型的訓練奠定了堅實基礎。
• 統一音頻分詞器： 從零開始構建，能夠同時捕捉語義和聲學特征，為語音處理提供了更強大的支持。
• DualFFN 架構： 在幾乎不增加計算負擔的前提下，顯著提升了模型對聲學 token 的建模能力。
• 零樣本語音克?。?/strong> 融入上下文學習，只需簡單的提示，例如簡短的參考音頻樣本，即可實現零樣本語音克隆，精準匹配說話風格。

產品官網

• Github 倉庫： https://github.com/boson-ai/higgs-audio
• 在線體驗 Demo： https://huggingface.co/spaces/smola/higgs_audio_v2

應用場景

• 實時語音交互： 適用于虛擬主播、智能語音助手等場景，提供低延遲、情感豐富的自然互動。
• 音頻內容創作： 為有聲讀物、互動培訓、動態故事講述等提供強大支持，輕松生成流暢的對話與旁白。
• 娛樂與創意領域： 語音克隆功能為娛樂和創意領域帶來無限可能，復制特定人物的聲音，開啟全新體驗。

常見問題解答

Q: Higgs Audio V2 支持哪些語言？
A: Higgs Audio V2 能夠支持多種語言的對話生成。

Q: 語音克隆需要多長的語音樣本？
A: 只需要提供簡短的語音樣本，即可實現語音克隆。

Q: Higgs Audio V2 的實時交互延遲如何？
A: Higgs Audio V2 支持低延遲的實時語音交互。