重新設(shè)計(jì)了主流 MLLM 的動(dòng)態(tài)分辨率方案，針對手機(jī)硬件特性進(jìn)行了深度系統(tǒng)優(yōu)化

原標(biāo)題：算法系統(tǒng)協(xié)同優(yōu)化，vivo與港中文推出BlueLM-V-3B，手機(jī)秒變多模態(tài)AI專家
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：9574字

BlueLM-V-3B：端側(cè)多模態(tài)模型的創(chuàng)新發(fā)展

近年來，隨著多模態(tài)大語言模型（MLLM）的快速發(fā)展，手機(jī)作為移動(dòng)平臺(tái)的理想落地載體，成為了集成強(qiáng)大AI能力的關(guān)鍵。vivo AI研究院與香港中文大合研發(fā)的BlueLM-V-3B，正是為了克服手機(jī)在內(nèi)存和計(jì)算能力上的限制而設(shè)計(jì)的一款端側(cè)多模態(tài)模型。

1. 模型特點(diǎn)與創(chuàng)新

BlueLM-V-3B的設(shè)計(jì)理念是算法與系統(tǒng)協(xié)同優(yōu)化。該模型通過重新設(shè)計(jì)動(dòng)態(tài)分辨率方案，針對手機(jī)硬件特性進(jìn)行了深度優(yōu)化，確保在移動(dòng)設(shè)備上的高效流暢運(yùn)行。其顯著特點(diǎn)包括：

– **算法與系統(tǒng)協(xié)同優(yōu)化**：針對經(jīng)典MLLM的動(dòng)態(tài)分辨率方案進(jìn)行改進(jìn)，有效降低了圖像過度放大的問題。

– **卓越的模型性能**：在參數(shù)規(guī)模相似的模型中，BlueLM-V-3B表現(xiàn)出色，尤其在OpenCompass基準(zhǔn)測試中取得了66.1的高分。

– **高效的移動(dòng)端部署**：以天璣9300處理器為例，其內(nèi)存需求僅為2.2GB，能夠快速處理高分辨率圖像。

2. 設(shè)計(jì)思路與技術(shù)實(shí)現(xiàn)

BlueLM-V-3B采用了寬松的長寬比選擇算法和硬件感知的系統(tǒng)設(shè)計(jì)。具體措施包括：

– **動(dòng)態(tài)分辨率算法改進(jìn)**：通過優(yōu)化圖像信息的利用率，減少了圖像token長度，降低了處理延時(shí)。

– **圖像并行編碼與流水線并行處理**：采用并行策略和流水線設(shè)計(jì)來提升整體處理速度，優(yōu)化NPU的計(jì)算能力。

– **模型量化與解耦處理**：通過混合參數(shù)精度降低內(nèi)存使用，解耦圖像編碼與指令處理，提高了響應(yīng)速度。

3. 訓(xùn)練過程與數(shù)據(jù)集

BlueLM-V-3B的訓(xùn)練分為兩個(gè)階段，利用開源數(shù)據(jù)集和內(nèi)部數(shù)據(jù)集構(gòu)建了包含250萬和6億條圖像-文本對的訓(xùn)練數(shù)據(jù)。這種多樣化的數(shù)據(jù)增強(qiáng)了模型的能力，使其能夠在多種任務(wù)和模態(tài)上提升性能。

4. 實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)結(jié)果顯示，BlueLM-V-3B在多個(gè)測評集上表現(xiàn)優(yōu)異，尤其在OCR相關(guān)任務(wù)上取得了競爭力的成績，同時(shí)在部署效率和響應(yīng)速度上也明顯優(yōu)于同類模型。

總結(jié)

BlueLM-V-3B的開發(fā)展示了vivo與香港中文大學(xué)團(tuán)隊(duì)在算法與系統(tǒng)設(shè)計(jì)方面的創(chuàng)新思維。未來，該團(tuán)隊(duì)將繼續(xù)探索先進(jìn)算法，提升端側(cè)模型的可擴(kuò)展性，以適應(yīng)更多手機(jī)設(shè)備，為用戶帶來更智能化的體驗(yàn)。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)