無需人類或GPT-4打標簽！南大&曠視研究院無監督范式大幅降低視覺大模型對齊成本

AIGC動態歡迎閱讀

原標題：無需人類或GPT-4打標簽！南大&曠視研究院無監督范式大幅降低視覺大模型對齊成本
關鍵字：數據,模型,樣本,范式,作者
文章來源：量子位
內容字數：0字

內容摘要：

曠視研究院投稿量子位 | 公眾號 QbitAI不用打標簽，也能解決視覺大模型的偏好對齊問題了。
南大與曠視研究院的研究人員，推出了適用于VLM的無監督范式。
對比偏好對齊前后，可以發現模型的輸出發生了顯著的變化。
目前的視覺大模型已經比較成熟，但作者發現它們在用戶體感方面仍然有所欠缺。
于是團隊經過研究，通過構造偏好樣本對的方式解決了視覺語言模型的偏好對齊問題，并提出了Self-Supervised Visual Preference Alignment（SeVa）范式。
該范式基于LLaVa-1.5-7B/13B完成，整個過程無需GPT-4或者是人類參與打標簽，目前項目已經開源！
構建正負樣本對比數據集目前視覺大模型基本上在流程上已經非常成熟——預訓練+指導監督微調（SFT）+對齊（可選）。
去年下半年開始，工業界和學術界主要聚焦在多模態大模型的數據（數據構造，配比，打標簽）和模型結構（Connector，打開模型權重等）的設計上，目標是提升VLM的理解能力（傳統QA+多模態benchmark）。
但是，研究團隊發現部分開源大模型，雖然在跑分時有不錯的性能，但在用戶體感方面會比較欠

原文鏈接：無需人類或GPT-4打標簽！南大&曠視研究院無監督范式大幅降低視覺大模型對齊成本