MOSS-TTSD

MOSS-TTSD – 清華實(shí)驗(yàn)室開源的口語(yǔ)對(duì)話語(yǔ)音生成模型

MOSS-TTSD 是一款由清華大學(xué)語(yǔ)音與語(yǔ)言實(shí)驗(yàn)室（Tencent AI Lab）傾力打造的開源口語(yǔ)對(duì)話語(yǔ)音生成模型。它能夠?qū)⑽谋緦?duì)話腳本轉(zhuǎn)化為生動(dòng)、流暢的對(duì)話語(yǔ)音，并支持中英文雙語(yǔ)生成。該模型基于先進(jìn)的語(yǔ)義-音學(xué)神經(jīng)網(wǎng)絡(luò)音頻編解碼器和大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，結(jié)合了超過(guò)百萬(wàn)小時(shí)的單人語(yǔ)音數(shù)據(jù)和數(shù)十萬(wàn)小時(shí)的對(duì)話語(yǔ)音數(shù)據(jù)進(jìn)行訓(xùn)練，同時(shí)支持零樣本語(yǔ)音克隆。

MOSS-TTSD：讓文本對(duì)話“開口說(shuō)話”

MOSS-TTSD 是一款革新性的文本轉(zhuǎn)語(yǔ)音（TTS）模型，專為口語(yǔ)對(duì)話設(shè)計(jì)。它不僅能夠?qū)嫖谋巨D(zhuǎn)化為自然流暢的語(yǔ)音，更賦予了語(yǔ)音對(duì)話應(yīng)有的表現(xiàn)力和情感色彩。這款模型由清華大學(xué)語(yǔ)音與語(yǔ)言實(shí)驗(yàn)室（Tencent AI Lab）研發(fā)，是一款完全開源的解決方案，能夠滿足多種應(yīng)用場(chǎng)景的需求。

核心功能一覽

生動(dòng)對(duì)話語(yǔ)音生成：MOSS-TTSD 能夠?qū)⑽谋緦?duì)話腳本轉(zhuǎn)化為高度自然的語(yǔ)音，準(zhǔn)確捕捉對(duì)話中的節(jié)奏、語(yǔ)調(diào)和情感，讓生成的語(yǔ)音更具吸引力。
零樣本音色克隆：無(wú)需額外的語(yǔ)音樣本，即可實(shí)現(xiàn)說(shuō)話人音色的精準(zhǔn)克隆。這意味著，只需提供文本，MOSS-TTSD 就能模擬不同說(shuō)話者的聲音，完美還原對(duì)話場(chǎng)景。
雙語(yǔ)支持：支持中文和英文兩種語(yǔ)言，滿足全球用戶的需求。
超長(zhǎng)語(yǔ)音生成：基于先進(jìn)的低比特率編解碼器，MOSS-TTSD 能夠一次性生成長(zhǎng)達(dá)數(shù)百秒的語(yǔ)音，避免了傳統(tǒng)TTS模型中常見的拼接痕跡，使語(yǔ)音更加連貫自然。
開源且商用友好：模型權(quán)重、推理代碼和 API 接口均已開源，用戶可以免費(fèi)進(jìn)行商業(yè)使用。

技術(shù)探秘

MOSS-TTSD 的強(qiáng)大功能源于其精巧的技術(shù)架構(gòu)：

基礎(chǔ)架構(gòu)：該模型基于 Qwen3-1.7B-base 模型進(jìn)行微調(diào)，并采用離散化語(yǔ)音序列建模方法。
語(yǔ)音離散化與編碼器創(chuàng)新：核心在于 XY-Tokenizer，它通過(guò)雙階段多任務(wù)學(xué)習(xí)，實(shí)現(xiàn)了對(duì)語(yǔ)音信號(hào)的有效編碼，在保證信息量的同時(shí)，降低了比特率。
數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練：MOSS-TTSD 采用了海量的語(yǔ)音數(shù)據(jù)進(jìn)行訓(xùn)練，包括百萬(wàn)小時(shí)的單人語(yǔ)音和數(shù)十萬(wàn)小時(shí)的對(duì)話語(yǔ)音，從而保證了模型生成語(yǔ)音的質(zhì)量和表現(xiàn)力。
長(zhǎng)語(yǔ)音生成能力：得益于超低比特率的 Codec，MOSS-TTSD 能夠生成長(zhǎng)達(dá) 960 秒的音頻，避免了拼接帶來(lái)的不自然感。

產(chǎn)品官網(wǎng)與資源