阿里mPLUG-Owl新升級，魚與熊掌兼得，模態(tài)協(xié)同實現(xiàn)MLLM新SOTA

AIGC動態(tài)歡迎閱讀

原標題：阿里mPLUG-Owl新升級，魚與熊掌兼得，模態(tài)協(xié)同實現(xiàn)MLLM新SOTA
關鍵字：模型,視覺,性能,語言,文本
文章來源：機器之心
內(nèi)容字數(shù)：4601字

內(nèi)容摘要：

機器之心專欄
機器之心編輯部OpenAI GPT-4V 和 Google Gemini 都展現(xiàn)了非常強的多模態(tài)理解能力，推動了多模態(tài)大模型（MLLM）快速發(fā)展，MLLM 成為了現(xiàn)在業(yè)界最熱的研究方向。
MLLM在多種視覺-語言開放任務中取得了出色的指令跟隨能力。盡管以往多模態(tài)學習的研究表明不同模態(tài)之間能夠相互協(xié)同和促進，但是現(xiàn)有的 MLLM 的研究主要關注提升多模態(tài)任務的能力，如何平衡模態(tài)協(xié)作的收益與模態(tài)干擾的影響仍然是一個亟待解決的重要問題。論文地址：https://arxiv.org/pdf/2311.04257.pdf
代碼地址：https://github.com/X-PLUG/mPLUG-Owl/tree/main/mPLUG-Owl2
ModelScope 體驗地址：https://modelscope.cn/studios/damo/mPLUG-Owl2/summary
HuggingFace 體驗地址:https://huggingface.co/spaces/MAGAer13/mPLUG-Owl2
針對這一問題，阿里多模態(tài)大模型 mPLUG-Owl 迎來大升級，通過模

原文鏈接：阿里mPLUG-Owl新升級，魚與熊掌兼得，模態(tài)協(xié)同實現(xiàn)MLLM新SOTA

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺