LongCat-Audio-Codec – 美團(tuán)開源的語音編解碼方案

美團(tuán)LongCat團(tuán)隊(duì)傾力打造的LongCat-Audio-Codec，是一款專為語音大語言模型（Speech LLM）量身定制的創(chuàng)新語音編解碼解決方案。它巧妙地融合了語義與聲學(xué)雙Token的并行提取機(jī)制，成功攻克了傳統(tǒng)方案中難以兼顧語音語義理解與聲學(xué)特征保留的難題，實(shí)現(xiàn)了二者的和諧統(tǒng)一。低延遲的流式解碼器更是亮點(diǎn)，將解碼延遲控制在毫秒級(jí)別，為車載語音助手、實(shí)時(shí)翻譯等對(duì)時(shí)效性要求極高的應(yīng)用場(chǎng)景提供了堅(jiān)實(shí)保障。此外，該編解碼器在超低比特率下展現(xiàn)出驚人的高保真度，并集成了超分辨率設(shè)計(jì)，不僅能以極低的碼率重建音頻，還能顯著提升輸出音頻的采樣率和自然流暢度。LongCat-Audio-Codec提供了一套完整便捷的Token生成器與還原器工具鏈，支持用戶根據(jù)不同下游任務(wù)和場(chǎng)景，靈活配置碼本數(shù)量，以達(dá)到最佳效果。其多階段訓(xùn)練策略更是精益求精，致力于在高壓縮率與高音質(zhì)之間尋求最優(yōu)平衡。

LongCat-Audio-Codec的核心亮點(diǎn)

• 并行的語義與聲學(xué)Token化：通過將原始音頻信號(hào)映射為語義與聲學(xué)并行的Token序列，LongCat-Audio-Codec能夠全面捕捉語音的核心語義信息，同時(shí)保留細(xì)致的聲學(xué)特征。
• 瞬時(shí)的流式解碼體驗(yàn)：該方案采用幀級(jí)增量處理模式，實(shí)現(xiàn)了毫秒級(jí)的低延遲音頻解碼，確保了流暢的實(shí)時(shí)交互體驗(yàn)。
• 極致的比特率與卓越的保真度：在極低的比特率下，LongCat-Audio-Codec依然能實(shí)現(xiàn)令人驚嘆的高保真音頻重建，并通過內(nèi)置的超分辨率技術(shù)，進(jìn)一步優(yōu)化音頻的自然度和聽感。

LongCat-Audio-Codec的技術(shù)精髓

• 雙向Transformer驅(qū)動(dòng)的語義-聲學(xué)Token并行提取：借助強(qiáng)大的雙向Transformer架構(gòu)，方案能夠精準(zhǔn)提取語音的語義Token，聚焦于核心信息。同時(shí)，結(jié)合優(yōu)化的量化技術(shù)，生成聲學(xué)Token，捕捉韻律、音色等豐富的副語言特征，從而有效解決了語義與聲學(xué)信息難以平衡的挑戰(zhàn)。
• 幀級(jí)增量處理的低延遲流式解碼：通過精妙的幀級(jí)增量處理機(jī)制，有效控制了對(duì)未來語音Token的依賴，將解碼延遲壓縮至百毫秒級(jí)別，完美契合了實(shí)時(shí)交互的嚴(yán)苛要求。
• 突破極限的超低比特率高保真與集成超分辨率：通過模型架構(gòu)的深度優(yōu)化和精細(xì)化的訓(xùn)練策略，LongCat-Audio-Codec在極低比特率下實(shí)現(xiàn)了出色的音頻重建質(zhì)量。更值得一提的是，它將超分辨率技術(shù)無縫集成到解碼器中，顯著提升了輸出音頻的采樣率和整體自然度。
• 高度靈活的聲學(xué)碼本配置：為了滿足多樣化的下游任務(wù)需求，該方案提供了靈活的聲學(xué)碼本配置選項(xiàng)，允許用戶根據(jù)具體場(chǎng)景（如對(duì)音色要求高或要求低的場(chǎng)景）調(diào)整碼本數(shù)量。
• 層層遞進(jìn)的多階段訓(xùn)練策略：通過精心設(shè)計(jì)的多階段訓(xùn)練流程，LongCat-Audio-Codec能夠分步優(yōu)化，分別滿足在高壓縮率下的精確重構(gòu)需求、高音質(zhì)的自然合成需求以及個(gè)性化定制的需求。

LongCat-Audio-Codec的獲取途徑

• GitHub開源社區(qū)：https://github.com/meituan-longcat/LongCat-Audio-Codec
• Hugging Face模型中心：https://huggingface.co/meituan-longcat/LongCat-Audio-Codec

LongCat-Audio-Codec的廣泛應(yīng)用前景

• 智能家居設(shè)備：顯著提升智能音箱的語音交互實(shí)時(shí)性和回應(yīng)的自然度，使其能更快速、更精準(zhǔn)地理解并響應(yīng)用戶指令。
• 車載智能系統(tǒng)：滿足車載環(huán)境下對(duì)語音交互的低延遲需求，提供即時(shí)反饋，優(yōu)化駕駛者的使用體驗(yàn)。
• 無縫實(shí)時(shí)翻譯：憑借其低延遲流式解碼能力，實(shí)現(xiàn)高質(zhì)量的實(shí)時(shí)語音翻譯，最大程度地縮短翻譯過程中的延遲。
• 語音識(shí)別與合成的強(qiáng)大引擎：為語音識(shí)別和合成系統(tǒng)提供高效的音頻處理支持，從而提升語音識(shí)別的準(zhǔn)確率和語音合成的自然度。
• 長音頻內(nèi)容處理的優(yōu)選方案：支持對(duì)長音頻內(nèi)容進(jìn)行高效的編碼和解碼，尤其適用于有聲讀物、播客等需要處理大量音頻數(shù)據(jù)的場(chǎng)景。
• 賦能多語言語音應(yīng)用：支持對(duì)多種語言的語音進(jìn)行處理，為跨語言語音應(yīng)用的發(fā)展提供關(guān)鍵技術(shù)支撐。