Qwen2.5-Omni

Qwen2.5-Omni – 阿里開源的端到端多模態(tài)模型

Qwen2.5-Omni

Qwen2.5-Omni是阿里巴巴推出的開源旗艦多模態(tài)模型，擁有7B參數(shù)，具備強(qiáng)大的多模態(tài)感知能力，能夠處理文本、圖像、音頻和視頻輸入，支持流式文本生成和自然語音合成，能夠?qū)崿F(xiàn)實(shí)時(shí)語音和視頻。該模型采用獨(dú)特的Thinker-Talker架構(gòu)，結(jié)合了先進(jìn)的技術(shù)，確保在多模態(tài)任務(wù)中表現(xiàn)出色，遠(yuǎn)超同類產(chǎn)品。

Qwen2.5-Omni是什么

Qwen2.5-Omni是阿里巴巴開發(fā)的開源多模態(tài)模型，屬于Qwen系列的旗艦產(chǎn)品，擁有7B參數(shù)。該模型展現(xiàn)出卓越的多模態(tài)理解能力，能夠處理包括文本、圖像、音頻和視頻在內(nèi)的多種輸入形式，支持實(shí)時(shí)的流式文本生成和自然語音輸出。憑借其獨(dú)特的Thinker-Talker架構(gòu)，Qwen2.5-Omni將多模態(tài)輸入的處理和生成分為兩個(gè)部分，Thinker負(fù)責(zé)理解和處理輸入信息，而Talker則將這些信息轉(zhuǎn)化為流暢的語音輸出。在多模態(tài)任務(wù)（例如OmniBench）中，該模型表現(xiàn)出色，超越了Google的Gemini-1.5-Pro等競(jìng)爭(zhēng)對(duì)手。用戶可以在Qwen Chat上體驗(yàn)該模型，且已開源，開發(fā)者和企業(yè)可免費(fèi)下載用于商業(yè)用途，并可在手機(jī)等智能硬件上運(yùn)行。

Qwen2.5-Omni的主要功能

文本處理：能夠理解和處理多種文本輸入，包括自然語言對(duì)話、指令和長(zhǎng)文本，支持多語種。
圖像識(shí)別：具備識(shí)別和理解圖像內(nèi)容的能力。
音頻處理：具備語音識(shí)別能力，可以將語音轉(zhuǎn)化為文本，并理解語音指令，同時(shí)生成自然流暢的語音輸出。
視頻理解：可以處理視頻輸入，并同步分析視頻中的視覺和音頻信息，從而實(shí)現(xiàn)視頻內(nèi)容理解和問答功能。
實(shí)時(shí)語音和視頻：支持實(shí)時(shí)處理語音和視頻流，提供流暢的語音和視頻交互體驗(yàn)。

Qwen2.5-Omni的技術(shù)原理

Thinker-Talker架構(gòu)：模型分為兩個(gè)主要部分，Thinker作為“大腦”處理多模態(tài)信息，生成高級(jí)語義表示并輸出文本，而Talker則把這些表示轉(zhuǎn)化為流暢的語音。
時(shí)間對(duì)齊多模態(tài)位置嵌入（TMRoPE）：通過新的位置嵌入方法TMRoPE，確保音頻與視頻的時(shí)間同步。此方法將三維位置信息編碼到模型中，確保視頻序列的時(shí)間順序。
流式處理與實(shí)時(shí)響應(yīng)：采用塊狀處理方法，將長(zhǎng)序列多模態(tài)數(shù)據(jù)分解為小塊進(jìn)行處理，減少延遲，同時(shí)引入滑動(dòng)窗口機(jī)制優(yōu)化流式生成效率。
Qwen2.5-Omni的訓(xùn)練階段：
- 第一階段：固定語言模型參數(shù)，僅訓(xùn)練視覺和音頻編碼器，增強(qiáng)對(duì)多模態(tài)信息的理解。
- 第二階段：解凍所有參數(shù)，利用更廣泛的數(shù)據(jù)進(jìn)行全面訓(xùn)練。
- 第三階段：基于長(zhǎng)序列數(shù)據(jù)進(jìn)行訓(xùn)練，以提升處理復(fù)雜數(shù)據(jù)的能力。

Qwen2.5-Omni的項(xiàng)目地址

項(xiàng)目官網(wǎng)：https://qwenlm.github.io/blog/qwen2.5-omni/
GitHub倉庫：https://github.com/QwenLM/Qwen2.5-Omni
HuggingFace模型庫：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
技術(shù)論文：https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni.pdf
在線體驗(yàn)Demo：https://huggingface.co/spaces/Qwen/Qwen2.5-Omni-7B-Demo

Qwen2.5-Omni的模型性能

多模態(tài)任務(wù)：在OmniBench等多模態(tài)任務(wù)中表現(xiàn)卓越。
單模態(tài)任務(wù)：在語音識(shí)別（Common Voice）、翻譯（CoVoST2）、音頻理解（MMAU）、圖像推理（MMMU，MMStar）、視頻理解（MVBench）及語音生成（Seed-tts-eval等）等多個(gè)領(lǐng)域表現(xiàn)優(yōu)異。