交交 – 上海交大推出的口語對話情感大模型

交交是上海交通大學聽覺認知與計算聲學實驗室自主研發的全球首個純學術口語對話情感大模型。它支持多人實時對話、多語言交流、方言識別、角色扮演、情感互動及知識問答等多項強大功能，兼容漢語、英語、日語、法語等多種語言，并能夠精準識別多種中文方言。交交以創新技術為基礎，提供端到端的語音對話、多語言理解、多人互動及實時音色克隆，展現出卓越的語音交互能力，為智能語音助手領域帶來了新的突破。

交交是什么

交交是由上海交通大學聽覺認知與計算聲學實驗室推出的全球首個完全由學術界自主研發的口語對話情感大模型。它具備多人對話、多語言交流、方言理解、角色扮演、情感互動及知識問答等多種強大功能，支持漢語、英語、日語、法語等多種語言，并能精準識別各種中文方言。交交的技術創新使其能夠實現流暢的語音對話、多語言理解、多人互動以及實時的音色克隆，展現出強大的語音交互能力，為智能語音助手領域帶來了顯著的進展。

交交的主要功能

• 多人對話：可與多位用戶進行自然流暢的對話，精準識別每個用戶的身份和發言內容，并提供個性化的回應。
• 多語言交流：支持漢語、英語、日語和法語等多種主要語言，具備跨語言回復的能力。
• 角色扮演與情感互動：理解用戶情緒并根據對話內容和場景生成富有情感的回應。
• 知識問答：涵蓋廣泛的知識領域，如古詩詞背誦、科學原理講解和文學名著解讀等。
• 實時音色克隆：提供高保真的聲音模仿技術，支持多角色語音扮演風格，并與用戶的自身聲音進行實時無感切換。

交交的技術原理

• 端到端語音對話：采用魯棒的音頻編碼器，將音頻輸入流式編碼為離散序列，并與文本序列對齊，無需大規模高質量數據微調，便能保持并利用文本大模型的基礎泛化能力，實現實時知識問答。
• 多語言理解與生成：基于創新的跨模態對齊機制，將多語言語音信號與對應文本在特征空間精準映射，通過隱式表征學習保留語言特異性信息，結合深度語言模型的上下文建模能力，實現跨語言場景下的無縫切換和高效語義理解。
• 多人對話建模：通過構建多人對話數據模擬真實場景，增強模型的對話處理能力。利用端到端模型融合上下文信息，生成個性化的響應和總結，實現自然且連貫的多方互動。
• 情感理解與表達：基于上下文信息，運用思維鏈技術生成符合對話場景的情感全局表征，并生成生動的情感語音回復，提升對話交流的真實感。
• 實時音色克隆與切換：提供高保真的聲音模仿技術，基于思維鏈技術進行控制信號推理，支持多角色語音扮演風格及與用戶自身聲音之間的實時無感切換。
• 靈活拓展：強大的對齊策略支持文本與音頻模態的任意方式拼接融合，為集成大規模文本大模型中的多種增強機制（如聯網搜索、RAG檢索增強生成等）提供統一且可擴展的接口。

交交的項目地址

• 申請體驗地址：https://wj.sjtu.edu.cn/q/4FiP8hsB

交交的應用場景

• 教育輔導：為學生提供個性化學習指導，解答疑問，輔助教師教學。
• 家庭互動：在家庭聚會中娛樂助興，日常陪伴家人解悶。
• 商務溝通：協助會議記錄與總結，支持跨語言商務交流。
• 客服支持：快速響應客戶咨詢，提供專業解答，提高服務效率。
• 娛樂陪伴：參與角色扮演，提供情感支持，增加生活樂趣。

常見問題

• 交交支持哪些語言？ 交交支持漢語、英語、日語和法語等多種語言。
• 交交如何識別方言？ 交交具備精準的中文方言識別能力，可以理解多種地方語言。
• 交交適用于哪些場景？ 交交適用于教育輔導、家庭互動、商務溝通、客服支持和娛樂陪伴等多種場景。