多模態(tài)模型免微調(diào)接入互聯(lián)網(wǎng)，即插即用新框架，效果超閉源商用方案

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：多模態(tài)模型免微調(diào)接入互聯(lián)網(wǎng)，即插即用新框架，效果超閉源商用方案
關(guān)鍵字：模型,網(wǎng)頁(yè),片段,樣本,框架
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

李川皓投稿量子位 | 公眾號(hào) QbitAI一個(gè)5月份完成訓(xùn)練的大模型，無(wú)法對(duì)《黑神話(huà)·悟空》游戲內(nèi)容相關(guān)問(wèn)題給出準(zhǔn)確回答。
這是大模型的病了。
因?yàn)椤逗谏裨?huà)》8月才上市，訓(xùn)練數(shù)據(jù)里沒(méi)有它的相關(guān)知識(shí)。
眾所周知，大模型的訓(xùn)練和微調(diào)會(huì)消耗大量計(jì)算資源和時(shí)間，這意味著頻繁更新大模型的參數(shù)是不切實(shí)際的。
然而，現(xiàn)實(shí)世界中的信息是實(shí)時(shí)產(chǎn)生的且不斷變化的。這使得大模型在完成訓(xùn)練后，對(duì)于后續(xù)新產(chǎn)生的信息感到陌生，所以無(wú)法提供準(zhǔn)確可靠的反饋。
為此，上海人工智能實(shí)驗(yàn)室、北京理工大學(xué)、浙江大學(xué)、香港大合提出即插即用的SearchLVLMs框架，可以無(wú)縫整合任意的多模態(tài)大模型。
該框架在推理階段對(duì)大模型進(jìn)行互聯(lián)網(wǎng)檢索增強(qiáng)，使得大模型無(wú)需微調(diào)即可對(duì)實(shí)時(shí)信息進(jìn)行準(zhǔn)確的反饋。
研究團(tuán)隊(duì)提出首個(gè)輔助多模態(tài)大模型對(duì)實(shí)時(shí)信息進(jìn)行反饋的開(kāi)源檢索增強(qiáng)框架SearchLVLMs。
該框架主要包括查詢(xún)生成、搜索引擎調(diào)用、分層過(guò)濾三個(gè)部分。
以視覺(jué)問(wèn)答為例，該框架會(huì)基于問(wèn)題和圖片生成查詢(xún)關(guān)鍵詞，并調(diào)用搜索引擎查找相關(guān)信息，再由粗到細(xì)地對(duì)檢索結(jié)果進(jìn)行過(guò)濾，得到對(duì)回答該問(wèn)題有幫助的信息。
這些信息會(huì)以prompt的形式在

原文鏈接：多模態(tài)模型免微調(diào)接入互聯(lián)網(wǎng)，即插即用新框架，效果超閉源商用方案