通義千問開源視覺語言模型 Qwen2-VL,可理解 20 分鐘以上視頻

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:通義千問開源視覺語言模型 Qwen2-VL,可理解 20 分鐘以上視頻
關(guān)鍵字:語言,模型,視覺,能力,圖像
文章來源:AI前線
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
整理 | 褚杏娟
2023 年 8 月,通義千問開源第一代視覺語言理解模型 Qwen-VL,成為開源社區(qū)最受歡迎的多模態(tài)模型之一。短短一年內(nèi),模型下載量突破 1000 萬次。目前,多模態(tài)模型在手機(jī)、車端等各類視覺識(shí)別場景的落地正在加速,開發(fā)者和應(yīng)用企業(yè)也格外關(guān)注 Qwen-VL 的升級(jí)迭代。
相比上代模型,Qwen2-VL 的基礎(chǔ)性能全面提升,可以讀懂不同分辨率和不同長寬比的圖片,在 DocVQA、RealWorldQA、MTVQA 等基準(zhǔn)測試創(chuàng)下全球領(lǐng)先的表現(xiàn);可以理解 20 分鐘以上長視頻,支持基于視頻的問答、對話和內(nèi)容創(chuàng)作等應(yīng)用;具備強(qiáng)大的視覺智能體能力,可自主操作手機(jī)和機(jī)器人,借助復(fù)雜推理和決策的能力,Qwen2-VL 可以集成到手機(jī)、機(jī)器人等設(shè)備,根據(jù)視覺環(huán)境和文字指令進(jìn)行自動(dòng)操作;能理解圖像視頻中的多語言文本,包括中文、英文,大多數(shù)歐洲語言,日語、韓語、語、語等。
通義千問團(tuán)隊(duì)從六個(gè)方面評估了模型能力,包括綜合的大學(xué)題目、數(shù)學(xué)能力、文檔表格多語言文字圖像的理解、通用場景問答、視頻理解、Agent 能力。Qwen2-VL-7B 以其“經(jīng)濟(jì)型”參數(shù)規(guī)模實(shí)現(xiàn)了極具競爭力
原文鏈接:通義千問開源視覺語言模型 Qwen2-VL,可理解 20 分鐘以上視頻
聯(lián)系作者
文章來源:AI前線
作者微信:
作者簡介:

粵公網(wǎng)安備 44011502001135號(hào)