AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：多模態(tài)模型免微調(diào)接入互聯(lián)網(wǎng)，即插即用新框架，效果超閉源商用方案
關(guān)鍵字：模型,網(wǎng)頁,片段,樣本,框架
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

李川皓 投稿量子位 | 公眾號(hào) QbitAI一個(gè)5月份完成訓(xùn)練的大模型，無法對《黑神話·悟空》游戲內(nèi)容相關(guān)問題給出準(zhǔn)確回答。
這是大模型的病了。
因?yàn)椤逗谏裨挕?月才上市，訓(xùn)練數(shù)據(jù)里沒有它的相關(guān)知識(shí)。
眾所周知，大模型的訓(xùn)練和微調(diào)會(huì)消耗大量計(jì)算資源和時(shí)間，這意味著頻繁更新大模型的參數(shù)是不切實(shí)際的。
然而，現(xiàn)實(shí)世界中的信息是實(shí)時(shí)產(chǎn)生的且不斷變化的。這使得大模型在完成訓(xùn)練后，對于后續(xù)新產(chǎn)生的信息感到陌生，所以無法提供準(zhǔn)確可靠的反饋。
為此，上海人工智能實(shí)驗(yàn)室、北京理工大學(xué)、浙江大學(xué)、香港大合提出即插即用的SearchLVLMs框架，可以無縫整合任意的多模態(tài)大模型。
該框架在推理階段對大模型進(jìn)行互聯(lián)網(wǎng)檢索增強(qiáng)，使得大模型無需微調(diào)即可對實(shí)時(shí)信息進(jìn)行準(zhǔn)確的反饋。
研究團(tuán)隊(duì)提出首個(gè)輔助多模態(tài)大模型對實(shí)時(shí)信息進(jìn)行反饋的開源檢索增強(qiáng)框架SearchLVLMs。
該框架主要包括查詢生成、搜索引擎調(diào)用、分層過濾三個(gè)部分。
以視覺問答為例，該框架會(huì)基于問題和圖片生成查詢關(guān)鍵詞，并調(diào)用搜索引擎查找相關(guān)信息，再由粗到細(xì)地對檢索結(jié)果進(jìn)行過濾，得到對回答該問題有幫助的信息。
這些信息會(huì)以prompt的形式在

原文鏈接：多模態(tài)模型免微調(diào)接入互聯(lián)網(wǎng)，即插即用新框架，效果超閉源商用方案

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：