SoulX-Podcast – Soul推出的多說話人語音合成模型

SoulX-Podcast：革新長篇對話生成，賦能多語態(tài)播客創(chuàng)作

由Soul AI Lab傾力打造的SoulX-Podcast，是一款開創(chuàng)性的多說話人文本到語音（TTS）模型。它專為滿足長篇播客對話的生成需求而設(shè)計，憑借其高達1.7B的模型參數(shù)，不僅支持普通話和英語，更涵蓋了四川話、河南話、粵語等多種漢語方言。其獨有的跨方言提示功能，允許用戶通過普通話指令，輕松合成目標方言的語音，為內(nèi)容創(chuàng)作者提供了前所未有的靈活性。

SoulX-Podcast核心亮點解析

• 多元角色演繹：該模型能夠精準模擬多個說話人之間的對話場景，實現(xiàn)不同角色語音的自然切換，尤其適用于播客節(jié)目、有聲讀物等多角色內(nèi)容的制作。
• 多語種方言覆蓋：SoulX-Podcast支持廣泛的語言和方言種類，包括普通話、英語以及多種中國地方方言（如蜀語、豫語、粵語等）。其創(chuàng)新的跨方言提示機制，讓用戶僅憑普通話輸入，即可生成地道的方言語音。
• 情感細節(jié)捕捉：模型融入了對非語言信息的精妙控制，如笑聲、嘆息、清嗓等“副語言”元素。這極大地提升了合成語音的真實感與生動性，使其更貼近人類表達。
• 宏篇巨制無憂：SoulX-Podcast具備卓越的長篇對話生成能力，可連續(xù)輸出超過90分鐘的語音內(nèi)容，且能始終保持音色的一致性和情感的連貫性，是制作長篇播客節(jié)目的理想選擇。
• 即時語音克隆：即使在缺乏目標說話人語音樣本的情況下，模型也能進行零樣本語音克隆，生成高品質(zhì)的個性化語音，為用戶提供便捷的定制化服務(wù)。

SoulX-Podcast技術(shù)架構(gòu)深度剖析

• 基石模型：SoulX-Podcast以強大的Qwen3-1.7B預(yù)訓(xùn)練語言模型為基礎(chǔ)，并針對多說話人對話生成任務(wù)進行了精細化微調(diào)。
• 多角色建模：通過引入獨特的說話人嵌入（Speaker Embedding）技術(shù)，模型能夠精確識別并區(qū)分不同說話人的語音特征，從而在生成過程中實現(xiàn)說話人的流暢切換。
• 方言智能轉(zhuǎn)化：模型采用方言引導(dǎo)提示（Dialect-Guided Prompting,DGP）策略，使其能根據(jù)普通話提示詞，自動生成對應(yīng)的目標方言語音，實現(xiàn)了多種方言的零樣本生成。
• 情感表達賦能：用戶可在文本輸入中嵌入特定的副語言標記（例如<|laughter|>、<|sigh|>），模型便能據(jù)此在生成的語音中加入相應(yīng)的非語言信息，顯著提升語音的自然度與感染力。
• 長時序穩(wěn)定性：通過對注意力機制和解碼器結(jié)構(gòu)的深度優(yōu)化，SoulX-Podcast確保在長時間對話生成中，音色和情感都能保持高度穩(wěn)定，有效規(guī)避了音色漂移或情感斷裂的問題。
• 數(shù)據(jù)驅(qū)動與訓(xùn)練：模型在海量的多說話人對話數(shù)據(jù)上進行訓(xùn)練，其數(shù)據(jù)處理流程涵蓋了語音增強、音頻分割、說話人日志記錄、文本轉(zhuǎn)錄以及嚴格的質(zhì)量篩選，確保模型能充分學(xué)習(xí)并復(fù)現(xiàn)豐富的對話特質(zhì)。

探索SoulX-Podcast的多元應(yīng)用場景

• 播客內(nèi)容創(chuàng)作：憑借其生成長達90分鐘連貫對話的能力，SoulX-Podcast是制作各類播客節(jié)目的理想工具，無論是科技評論、文化漫談還是娛樂八卦，都能輕松應(yīng)對。
• 有聲讀物制作：模型支持多角色對話生成，能讓小說、故事等有聲讀物更具表現(xiàn)力，為聽眾帶來身臨其境的體驗。
• 教育內(nèi)容創(chuàng)新：通過生成多角色對話，模型能有效增強語言學(xué)習(xí)、歷史故事講解等教育內(nèi)容的互動性和趣味性，提升學(xué)習(xí)效果。
• 娛樂互動體驗：為游戲、動畫及視頻內(nèi)容提供自然的多角色語音，極大地增強了作品的沉浸感和吸引力。
• 企業(yè)培訓(xùn)革新：模型可以生成模擬對話，幫助員工進行溝通技巧和客戶服務(wù)等方面的培訓(xùn)，提升職業(yè)素養(yǎng)。

相關(guān)資源鏈接

• 官方網(wǎng)站：https://soul-ailab.github.io/soulx-podcast/
• GitHub代碼庫：https://github.com/Soul-AILab/SoulX-Podcast
• HuggingFace模型集：https://huggingface.co/collections/Soul-AILab/soulx-podcast
• 技術(shù)論文（arXiv）：https://arxiv.org/pdf/2510.23541