AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：2B多模態(tài)新SOTA！華科、華南理工發(fā)布Mini-Monkey，專(zhuān)治「切分增大分辨率」后遺癥
關(guān)鍵字：切分,尺度,策略,模型,圖像
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST 好困
【新智元導(dǎo)讀】Mini-Monkey 是一個(gè)輕量級(jí)的多模態(tài)大型語(yǔ)言模型，通過(guò)采用多尺度自適應(yīng)切分策略（MSAC）和尺度壓縮機(jī)制（SCM），有效緩解了傳統(tǒng)圖像切分策略帶來(lái)的鋸齒效應(yīng)，提升了模型在高分辨率圖像處理和文檔理解任務(wù)的性能。它在多項(xiàng)基準(zhǔn)測(cè)試中取得了領(lǐng)先的成績(jī)，證明了其在多模態(tài)理解和文檔智能領(lǐng)域的潛力。最近，提升多模態(tài)大模型處理高分辨率圖像的能力越來(lái)越引起這個(gè)領(lǐng)域的關(guān)注。
絕大多數(shù)方法致力于通過(guò)對(duì)圖像進(jìn)行切分再融合的策略，來(lái)提升多模態(tài)大模型對(duì)圖像細(xì)節(jié)的理解能力。
然而，由于對(duì)圖像的切分操作，不可避免會(huì)對(duì)目標(biāo)、聯(lián)通區(qū)域帶來(lái)割裂，導(dǎo)致MLMMs對(duì)于微小或形狀不規(guī)則的目標(biāo)的辨識(shí)能力。這個(gè)現(xiàn)象在文檔理解任務(wù)中，表現(xiàn)極為明顯，由于文字端經(jīng)常被中斷。
針對(duì)這一挑戰(zhàn)，華中科技大學(xué)和華南理工大學(xué)最近聯(lián)合發(fā)布一個(gè)多模態(tài)大模型Mini-Monkey，使用了可插拔的多尺度自適應(yīng)策略（MSAC）的輕量化多模態(tài)大模型。
Mini-Monkey自適應(yīng)生成多尺度表示，允許模型從各種尺度中選擇未分割的對(duì)象，其性能達(dá)到了2B多模態(tài)大模型的新SOTA。論文地址：https://arx

原文鏈接：2B多模態(tài)新SOTA！華科、華南理工發(fā)布Mini-Monkey，專(zhuān)治「切分增大分辨率」后遺癥

聯(lián)系作者

文章來(lái)源：新智元
作者微信：
作者簡(jiǎn)介：