來(lái)自360人工智能研究院

原標(biāo)題：為多模態(tài)LLM引入ControlNet理念，開(kāi)源插件解決災(zāi)難性遺忘 | AAAI
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：3545字

360人工智能研究院提出IAA：解決多模態(tài)大模型災(zāi)難性遺忘問(wèn)題

本文總結(jié)了360人工智能研究院提出的IAA (Inner-Adaptor-Architecture) 架構(gòu)，該架構(gòu)旨在解決當(dāng)前多模態(tài)大模型(LMM)中存在的災(zāi)難性遺忘問(wèn)題，并已被AAAI 2025接收，代碼已開(kāi)源。

1. 多模態(tài)大模型的挑戰(zhàn)：災(zāi)難性遺忘

當(dāng)前主流的橋接式LMM結(jié)構(gòu)，例如LLaVA系列、QwenVL、DeepSeekVL等，為了提升多模態(tài)理解能力，通常需要打開(kāi)內(nèi)嵌LLM的參數(shù)進(jìn)行多模態(tài)訓(xùn)練。這種方法雖然能提升多模態(tài)任務(wù)性能，但卻會(huì)導(dǎo)致LLM在文本理解能力上出現(xiàn)嚴(yán)重的“災(zāi)難性遺忘”，最終需要部署多模態(tài)模型，造成成本增加。

2. IAA的靈感來(lái)源：文生圖領(lǐng)域的ControlNet

360人工智能研究院受到文生圖領(lǐng)域ControlNet插件化機(jī)制的啟發(fā)，提出了IAA架構(gòu)。ControlNet允許在不改變基座模型的情況下，通過(guò)插件添加新的功能。IAA試圖將這種思路應(yīng)用于語(yǔ)言模型，從而解決多模態(tài)模型的災(zāi)難性遺忘問(wèn)題。

3. IAA的核心思路：插件化多模態(tài)理解能力

IAA的核心思想是將多模態(tài)理解能力作為插件添加到基座語(yǔ)言模型之上。與直接修改基座模型參數(shù)不同，IAA通過(guò)新增的插入層來(lái)處理多模態(tài)信息，從而避免了對(duì)基座模型參數(shù)的修改，有效防止了災(zāi)難性遺忘。這種插件化設(shè)計(jì)也使得IAA可以靈活地添加其他專(zhuān)業(yè)插件，例如代碼或數(shù)學(xué)插件，從而擴(kuò)展基座模型的能力。

4. IAA的優(yōu)勢(shì)：高效、經(jīng)濟(jì)、靈活

IAA具有以下優(yōu)勢(shì)：

1. 避免了災(zāi)難性遺忘：通過(guò)保持基座語(yǔ)言模型參數(shù)不變，IAA有效避免了多模態(tài)訓(xùn)練導(dǎo)致的文本理解能力下降。
2. 降低部署成本：推理時(shí)只需要部署一套模型權(quán)重，text-only任務(wù)和多模態(tài)任務(wù)分別走不同的流程，避免了多套模型的部署成本。
3. 支持插件化擴(kuò)展：IAA可以靈活地添加各種插件，以增強(qiáng)基座模型在特定任務(wù)上的能力，例如代碼、數(shù)學(xué)等。

5. 實(shí)驗(yàn)結(jié)果和未來(lái)展望

實(shí)驗(yàn)結(jié)果表明，IAA在保持模型原有能力的同時(shí)，能有效提升其在多模態(tài)任務(wù)上的表現(xiàn)。IAA架構(gòu)為構(gòu)建高效、經(jīng)濟(jì)、靈活的多模態(tài)語(yǔ)言模型生態(tài)體系提供了一種新的思路。

6. 360人工智能研究院的AI布局

360人工智能研究院在“All in AI”戰(zhàn)略下，積極研發(fā)多模態(tài)理解和生成大模型，取得了一系列成果，包括360VL、BDM、HiCo以及Qihoo-T2X等。IAA和BDM的成果被AAAI 2025接收，展現(xiàn)了該研究院在A(yíng)I領(lǐng)域的強(qiáng)大實(shí)力。

總之，IAA架構(gòu)為解決多模態(tài)大模型的災(zāi)難性遺忘問(wèn)題提供了一種有效的方案，其插件化設(shè)計(jì)也為構(gòu)建更加靈活和強(qiáng)大的語(yǔ)言模型生態(tài)體系奠定了基礎(chǔ)。

聯(lián)系作者

文章來(lái)源：量子位
作者微信：
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破