多模態模型免微調接入互聯網，即插即用新框架，效果超閉源商用方案

AIGC動態歡迎閱讀

原標題：多模態模型免微調接入互聯網，即插即用新框架，效果超閉源商用方案
關鍵字：模型,網頁,片段,樣本,框架
文章來源：量子位
內容字數：0字

內容摘要：

李川皓 投稿量子位 | 公眾號 QbitAI一個5月份完成訓練的大模型，無法對《黑神話·悟空》游戲內容相關問題給出準確回答。
這是大模型的病了。
因為《黑神話》8月才上市，訓練數據里沒有它的相關知識。
眾所周知，大模型的訓練和微調會消耗大量計算資源和時間，這意味著頻繁更新大模型的參數是不切實際的。
然而，現實世界中的信息是實時產生的且不斷變化的。這使得大模型在完成訓練后，對于后續新產生的信息感到陌生，所以無法提供準確可靠的反饋。
為此，上海人工智能實驗室、北京理工大學、浙江大學、香港大合提出即插即用的SearchLVLMs框架，可以無縫整合任意的多模態大模型。
該框架在推理階段對大模型進行互聯網檢索增強，使得大模型無需微調即可對實時信息進行準確的反饋。
研究團隊提出首個輔助多模態大模型對實時信息進行反饋的開源檢索增強框架SearchLVLMs。
該框架主要包括查詢生成、搜索引擎調用、分層過濾三個部分。
以視覺問答為例，該框架會基于問題和圖片生成查詢關鍵詞，并調用搜索引擎查找相關信息，再由粗到細地對檢索結果進行過濾，得到對回答該問題有幫助的信息。
這些信息會以prompt的形式在

原文鏈接：多模態模型免微調接入互聯網，即插即用新框架，效果超閉源商用方案

聯系作者

文章來源：量子位
作者微信：
作者簡介：