交交

交交 – 上海交大推出的口語(yǔ)對(duì)話(huà)情感大模型

交交是上海交通大學(xué)聽(tīng)覺(jué)認(rèn)知與計(jì)算聲學(xué)實(shí)驗(yàn)室自主研發(fā)的全球首個(gè)純學(xué)術(shù)口語(yǔ)對(duì)話(huà)情感大模型。它支持多人實(shí)時(shí)對(duì)話(huà)、多語(yǔ)言交流、方言識(shí)別、角色扮演、情感互動(dòng)及知識(shí)問(wèn)答等多項(xiàng)強(qiáng)大功能，兼容漢語(yǔ)、英語(yǔ)、日語(yǔ)、法語(yǔ)等多種語(yǔ)言，并能夠精準(zhǔn)識(shí)別多種中文方言。交交以創(chuàng)新技術(shù)為基礎(chǔ)，提供端到端的語(yǔ)音對(duì)話(huà)、多語(yǔ)言理解、多人互動(dòng)及實(shí)時(shí)音色克隆，展現(xiàn)出卓越的語(yǔ)音交互能力，為智能語(yǔ)音助手領(lǐng)域帶來(lái)了新的突破。

交交是什么

交交是由上海交通大學(xué)聽(tīng)覺(jué)認(rèn)知與計(jì)算聲學(xué)實(shí)驗(yàn)室推出的全球首個(gè)完全由學(xué)術(shù)界自主研發(fā)的口語(yǔ)對(duì)話(huà)情感大模型。它具備多人對(duì)話(huà)、多語(yǔ)言交流、方言理解、角色扮演、情感互動(dòng)及知識(shí)問(wèn)答等多種強(qiáng)大功能，支持漢語(yǔ)、英語(yǔ)、日語(yǔ)、法語(yǔ)等多種語(yǔ)言，并能精準(zhǔn)識(shí)別各種中文方言。交交的技術(shù)創(chuàng)新使其能夠?qū)崿F(xiàn)流暢的語(yǔ)音對(duì)話(huà)、多語(yǔ)言理解、多人互動(dòng)以及實(shí)時(shí)的音色克隆，展現(xiàn)出強(qiáng)大的語(yǔ)音交互能力，為智能語(yǔ)音助手領(lǐng)域帶來(lái)了顯著的進(jìn)展。

交交的主要功能

• 多人對(duì)話(huà)：可與多位用戶(hù)進(jìn)行自然流暢的對(duì)話(huà)，精準(zhǔn)識(shí)別每個(gè)用戶(hù)的身份和發(fā)言?xún)?nèi)容，并提供個(gè)性化的回應(yīng)。
• 多語(yǔ)言交流：支持漢語(yǔ)、英語(yǔ)、日語(yǔ)和法語(yǔ)等多種主要語(yǔ)言，具備跨語(yǔ)言回復(fù)的能力。
• 角色扮演與情感互動(dòng)：理解用戶(hù)情緒并根據(jù)對(duì)話(huà)內(nèi)容和場(chǎng)景生成富有情感的回應(yīng)。
• 知識(shí)問(wèn)答：涵蓋廣泛的知識(shí)領(lǐng)域，如古詩(shī)詞背誦、科學(xué)原理講解和文學(xué)名著解讀等。
• 實(shí)時(shí)音色克隆：提供高保真的聲音模仿技術(shù)，支持多角色語(yǔ)音扮演風(fēng)格，并與用戶(hù)的自身聲音進(jìn)行實(shí)時(shí)無(wú)感切換。

交交的技術(shù)原理

• 端到端語(yǔ)音對(duì)話(huà)：采用魯棒的音頻編碼器，將音頻輸入流式編碼為離散序列，并與文本序列對(duì)齊，無(wú)需大規(guī)模高質(zhì)量數(shù)據(jù)微調(diào)，便能保持并利用文本大模型的基礎(chǔ)泛化能力，實(shí)現(xiàn)實(shí)時(shí)知識(shí)問(wèn)答。
• 多語(yǔ)言理解與生成：基于創(chuàng)新的跨模態(tài)對(duì)齊機(jī)制，將多語(yǔ)言語(yǔ)音信號(hào)與對(duì)應(yīng)文本在特征空間精準(zhǔn)映射，通過(guò)隱式表征學(xué)習(xí)保留語(yǔ)言特異性信息，結(jié)合深度語(yǔ)言模型的上下文建模能力，實(shí)現(xiàn)跨語(yǔ)言場(chǎng)景下的無(wú)縫切換和高效語(yǔ)義理解。
• 多人對(duì)話(huà)建模：通過(guò)構(gòu)建多人對(duì)話(huà)數(shù)據(jù)模擬真實(shí)場(chǎng)景，增強(qiáng)模型的對(duì)話(huà)處理能力。利用端到端模型融合上下文信息，生成個(gè)性化的響應(yīng)和總結(jié)，實(shí)現(xiàn)自然且連貫的多方互動(dòng)。
• 情感理解與表達(dá)：基于上下文信息，運(yùn)用思維鏈技術(shù)生成符合對(duì)話(huà)場(chǎng)景的情感全局表征，并生成生動(dòng)的情感語(yǔ)音回復(fù)，提升對(duì)話(huà)交流的真實(shí)感。
• 實(shí)時(shí)音色克隆與切換：提供高保真的聲音模仿技術(shù)，基于思維鏈技術(shù)進(jìn)行控制信號(hào)推理，支持多角色語(yǔ)音扮演風(fēng)格及與用戶(hù)自身聲音之間的實(shí)時(shí)無(wú)感切換。
• 靈活拓展：強(qiáng)大的對(duì)齊策略支持文本與音頻模態(tài)的任意方式拼接融合，為集成大規(guī)模文本大模型中的多種增強(qiáng)機(jī)制（如聯(lián)網(wǎng)搜索、RAG檢索增強(qiáng)生成等）提供統(tǒng)一且可擴(kuò)展的接口。

交交的項(xiàng)目地址

• 申請(qǐng)?bào)w驗(yàn)地址：https://wj.sjtu.edu.cn/q/4FiP8hsB

交交的應(yīng)用場(chǎng)景

• 教育輔導(dǎo)：為學(xué)生提供個(gè)性化學(xué)習(xí)指導(dǎo)，解答疑問(wèn)，輔助教師教學(xué)。
• 家庭互動(dòng)：在家庭聚會(huì)中娛樂(lè)助興，日常陪伴家人解悶。
• 商務(wù)溝通：協(xié)助會(huì)議記錄與總結(jié)，支持跨語(yǔ)言商務(wù)交流。
• 客服支持：快速響應(yīng)客戶(hù)咨詢(xún)，提供專(zhuān)業(yè)解答，提高服務(wù)效率。
• 娛樂(lè)陪伴：參與角色扮演，提供情感支持，增加生活樂(lè)趣。

常見(jiàn)問(wèn)題

• 交交支持哪些語(yǔ)言？ 交交支持漢語(yǔ)、英語(yǔ)、日語(yǔ)和法語(yǔ)等多種語(yǔ)言。
• 交交如何識(shí)別方言？ 交交具備精準(zhǔn)的中文方言識(shí)別能力，可以理解多種地方語(yǔ)言。
• 交交適用于哪些場(chǎng)景？ 交交適用于教育輔導(dǎo)、家庭互動(dòng)、商務(wù)溝通、客服支持和娛樂(lè)陪伴等多種場(chǎng)景。