AIGC動態(tài)歡迎閱讀

原標題：訓練視覺語言模型VLM的經(jīng)驗
關(guān)鍵字：數(shù)據(jù),知乎,侵權(quán),業(yè)務(wù),模型
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

講座預告11月1日上午10點，南開大學在讀博士李森茂，將以《基于擴散模型編碼器模塊的推理加速》為主題進行直播講解，歡迎掃名~導讀作者為lym
原文來自知乎，地址：https://zhuanlan.zhihu.com/p/890327005
本文只做學術(shù)/技術(shù)分享，如有侵權(quán)，聯(lián)系刪文。如果可以用prompt解決，盡量用prompt解決，因為訓練（精調(diào)）的模型往往通用能力會下降，訓練和長期部署成本都比較高，這個成本也包括時間成本。
基于prompt確實不行（情況包括格式輸出不穩(wěn)定、格式輸出基本不對、任務(wù)不完全會、任務(wù)完全不會等情況，難度逐漸加大），選擇上SFT微調(diào)。
業(yè)務(wù)場景基本用不到強化學習，強化解決的是最后一公里的問題，可以理解為有兩種非常接近的輸出（這兩種輸出都非常接近目標輸出，此時已經(jīng)解決了90%的問題），強化學習會對相同的輸入，打壓其中一種不希望的輸出，同時增強另一種更接近目標的希望的輸出（從DPO loss就可以看出）。強化是用來應(yīng)對細微輸出差異的，并且業(yè)務(wù)場景優(yōu)先用DPO，DPO只需要pair對數(shù)據(jù)，更好構(gòu)造。PPO的reward model幾乎沒有開源的，需要的數(shù)據(jù)更多

原文鏈接：訓練視覺語言模型VLM的經(jīng)驗

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：