OmniTalker – 阿里推出的實(shí)時(shí)文本驅(qū)動(dòng)說(shuō)話(huà)頭像生成框架

OmniTalker是什么

OmniTalker 是阿里巴巴推出的一項(xiàng)實(shí)時(shí)文本驅(qū)動(dòng)的說(shuō)話(huà)頭像生成技術(shù)，能夠同時(shí)處理文本、圖像、音頻和視頻等多種輸入模態(tài)，并以流式的方式生成自然的語(yǔ)音響應(yīng)。其核心架構(gòu)為 Thinker-Talker 架構(gòu)，其中 Thinker 負(fù)責(zé)對(duì)多模態(tài)輸入進(jìn)行處理，生成語(yǔ)義表示和文本內(nèi)容，而 Talker 則將這些信息轉(zhuǎn)化為流暢的語(yǔ)音輸出。OmniTalker 還采用了 TMRoPE（時(shí)間對(duì)齊多模態(tài)旋轉(zhuǎn)位置嵌入）技術(shù)，確保音視頻輸入的精確同步。

OmniTalker的主要功能

• 多模態(tài)輸入處理：能夠識(shí)別并處理文本、圖像、音頻和視頻等多種輸入形式。
• 流式生成文本和語(yǔ)音響應(yīng)：以流式方式生成文本和自然語(yǔ)音響應(yīng)，音頻和視頻編碼器采用分塊處理方法，從而解耦長(zhǎng)序列多模態(tài)數(shù)據(jù)的處理。
• 音視頻精準(zhǔn)同步：通過(guò) TMRoPE 技術(shù)，音頻和視頻輸入能夠?qū)崿F(xiàn)精確的時(shí)間同步，確保信息的順暢銜接。
• 實(shí)時(shí)交互：支持分塊輸入與即時(shí)輸出，能夠進(jìn)行完全實(shí)時(shí)的互動(dòng)。
• 自然流暢的語(yǔ)音生成：在語(yǔ)音生成的自然性和穩(wěn)定性方面表現(xiàn)卓越，超越了許多現(xiàn)有的流式和非流式方案。
• 卓越性能：在多模態(tài)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，音頻能力超過(guò)同類(lèi)的 Qwen2-Audio，與 Qwen2.5-VL-7B 保持相當(dāng)水平。

OmniTalker的技術(shù)原理

• Thinker-Talker 架構(gòu)：OmniTalker 采用 Thinker-Talker 架構(gòu)，其中 Thinker 專(zhuān)注于處理多模態(tài)輸入（包括文本、圖像、音頻和視頻），生成高維語(yǔ)義表示和文本內(nèi)容；而 Talker 則基于 Thinker 提供的語(yǔ)義表示和文本，以流式方式生成自然語(yǔ)音響應(yīng)。這種設(shè)計(jì)避免了文本生成和語(yǔ)音生成之間的干擾，確保語(yǔ)義表達(dá)的一致性和實(shí)時(shí)性。
  • Thinker：基于 Transformer 解碼器架構(gòu)，配備音頻和圖像編碼器，負(fù)責(zé)多模態(tài)信息的提取和理解。
  • Talker：采用自回歸 Transformer 解碼器結(jié)構(gòu)，直接利用 Thinker 的高維語(yǔ)義表示生成語(yǔ)音 token，確保語(yǔ)音輸出的自然性和流暢性。
• TMRoPE（時(shí)間對(duì)齊多模態(tài)旋轉(zhuǎn)位置嵌入）：為了解決音視頻輸入的時(shí)間同步問(wèn)題，OmniTalker 提出了 TMRoPE 技術(shù)。該技術(shù)通過(guò)將音頻和視頻幀按照時(shí)間順序交錯(cuò)排列進(jìn)行位置編碼，確保不同模態(tài)的信息在時(shí)間軸上無(wú)縫連接，從而使模型能夠更準(zhǔn)確地理解和生成音視頻內(nèi)容。
• 流式處理：OmniTalker 支持流式輸入和輸出，能夠?qū)崟r(shí)處理多模態(tài)信息并快速響應(yīng)。音頻和視覺(jué)編碼器采用分塊處理方法，將長(zhǎng)序列數(shù)據(jù)分解為小塊進(jìn)行處理，從而降低延遲并提高效率。
  • 分塊預(yù)填充：音頻編碼器采用 2 秒塊式注意力機(jī)制，視覺(jué)編碼器則使用閃存注意力機(jī)制以增加 MLP 層的效率。
  • 滑動(dòng)窗口 DiT 模型：用于流式生成 mel 頻譜圖，進(jìn)一步支持高質(zhì)量的語(yǔ)音流式生成。
• 端到端訓(xùn)練：Thinker 和 Talker 模塊通過(guò)端到端的方式進(jìn)行聯(lián)合訓(xùn)練，共享歷史上下文信息，避免了單獨(dú)訓(xùn)練模塊之間可能引發(fā)的錯(cuò)誤，確保了模型的整體性能和一致性。
• 高效語(yǔ)音生成：OmniTalker 的語(yǔ)音生成模塊采用高效的語(yǔ)音編解碼器（qwen-tts-tokenizer），以自回歸方式流式生成音頻 token，從而降低了數(shù)據(jù)需求和推理難度，提升了語(yǔ)音生成的自然度及魯棒性。

OmniTalker的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://humanaigc.github.io/omnitalker/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.02433v1

OmniTalker的應(yīng)用場(chǎng)景

• 智能語(yǔ)音助手：OmniTalker 的實(shí)時(shí)音視頻交互能力和自然流暢的語(yǔ)音生成使其成為理想的智能語(yǔ)音助手，能夠處理用戶(hù)的語(yǔ)音指令，實(shí)時(shí)生成回應(yīng)，為用戶(hù)提供更自然便捷的互動(dòng)體驗(yàn)。
• 多模態(tài)內(nèi)容創(chuàng)作：在內(nèi)容創(chuàng)作領(lǐng)域，OmniTalker 可以處理文本、圖像和視頻輸入，生成相應(yīng)的文本或語(yǔ)音描述，幫助創(chuàng)作者提升作品質(zhì)量。
• 教育與培訓(xùn)：OmniTalker 可被廣泛應(yīng)用于教育和培訓(xùn)領(lǐng)域，通過(guò)處理多種模態(tài)的輸入，為學(xué)生提供更豐富、個(gè)性化的學(xué)習(xí)體驗(yàn)。
• 智能客服：在智能客服領(lǐng)域，OmniTalker 能實(shí)時(shí)處理客戶(hù)的語(yǔ)音或文本問(wèn)題，生成準(zhǔn)確回應(yīng)，提高客服效率，改善客戶(hù)體驗(yàn)。
• 工業(yè)質(zhì)檢：在制造業(yè)中，OmniTalker 可以通過(guò)同時(shí)處理產(chǎn)品外觀圖像與工藝參數(shù)文本，實(shí)時(shí)檢測(cè)流水線(xiàn)上的缺陷零件，提升生產(chǎn)效率。