GLM-4-Voice

GLM-4-Voice是智譜AI推出的一款前沿的情感語音交互模型，具備實時理解和生成中英文語音的能力。該模型能夠根據用戶的指令靈活調節語音的情感、語調、語速和方言等特征，旨在提供更加自然和流暢的人機交互體驗。

GLM-4-Voice是什么

GLM-4-Voice是由智譜AI開發的端到端情感語音模型，旨在直接理解和生成中英文語音，支持實時的語音對話。其設計理念是通過端到端建模來減少信息損失，提升語音交互的自然性與流暢性，同時實現低延遲的實時對話，為用戶帶來更豐富的語音交互體驗。該模型由三個主要部分構成：GLM-4-Voice-Tokenizer負責把連續語音轉化為離散token，GLM-4-Voice-Decoder則實現將token轉化為連續語音輸出，而GLM-4-Voice-9B則是在GLM-4-9B模型的基礎上進行預訓練和對齊，以實現對語音的理解和生成。

GLM-4-Voice的主要功能

• 語音理解與生成：直接解析與生成中英文語音，實現順暢的人機對話。
• 情感表達：能夠模擬多種情感和語調，如快樂、悲傷、生氣、恐懼等，使語音回復更顯自然。
• 靈活調節語速：根據用戶指令調節語速，適合不同的對話場景。
• 實時指令輸入：支持用戶隨時中斷語音輸出，輸入新指令以調整對話內容。
• 多語言與方言支持：支持中文及多種方言，如粵語、重慶話、北京話等。
• 低延遲交互：采用流式思考架構，低延遲實現高質量的語音對話。

GLM-4-Voice的技術原理

• 端到端建模：與傳統的ASR + LLM + TTS級聯方案相比，GLM-4-Voice在一個統一的模型中完成語音理解與生成，避免了信息損失。
• 音頻Tokenizer：使用經過監督訓練的音頻Tokenizer將連續語音輸入轉化為離散token，以12.5Hz的低碼率保存語義信息及副語言特征。
• 語音解碼器：基于Flow Matching模型結構的解碼器將離散的語音token轉換為連續語音輸出，最低只需10個token即可開始生成，降低對話延遲。
• 預訓練與對齊：GLM-4-Voice-9B在GLM-4-9B的基礎上進行了預訓練和對齊，使其具備強大的音頻理解與建模能力。
• 流式推理：支持流式推理，模型能夠交替輸出文本與語音，根據用戶語音指令實時調整語音輸出，確保回復內容的高質量。

GLM-4-Voice的項目地址

• 產品體驗：體驗鏈接
• 項目官網：zhipuai.cn/news
• GitHub倉庫：https://github.com/THUDM/GLM-4-Voice

GLM-4-Voice的應用場景

• 智能助手：在智能手機和智能家居設備中作為智能助手，利用語音交互幫助用戶完成任務，如設置提醒、查詢天氣和控制家居設備等。
• 客戶服務：在客戶服務中心作為虛擬客服，基于自然語言理解與語音合成技術，為用戶提供咨詢和問題解決服務。
• 教育與學習：在教育領域作為語言學習助手，幫助學生練習發音、聽力與口語，提供個性化學習建議。
• 娛樂與媒體：在娛樂行業中用于語音合成，為動畫、游戲和有聲書等提供自然且富有表現力的語音輸出。
• 新聞與播報：用于快速將文本新聞轉化為語音，為需要語音信息的用戶提供服務。

常見問題

• GLM-4-Voice支持哪些語言？ GLM-4-Voice支持中文與英文，并具備多種中國方言的能力。
• 如何體驗GLM-4-Voice？ 用戶可以通過提供的產品體驗鏈接訪問并使用GLM-4-Voice的功能。
• GLM-4-Voice的語音輸出是否自然？ 該模型通過情感表達和調節語速等功能，旨在提供自然流暢的語音輸出體驗。