大模型對齊下一站：合成數(shù)據(jù)

AIGC動態(tài)歡迎閱讀

原標題：大模型對齊下一站：合成數(shù)據(jù)
關(guān)鍵字：模型,騰訊,報告,數(shù)據(jù),復(fù)雜度
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

開講預(yù)約11月1日上午10點，南開大學(xué)在讀博士李森茂，將以《基于擴散模型編碼器模塊的推理加速》為主題進行直播講解，歡迎掃名~大模型訓(xùn)練中，數(shù)據(jù)質(zhì)量已經(jīng)是所有人的了。在23年開始接觸Alignment之后，我一直是人工標注流派，深信InstructGPT[1]中所描述的，先train好標注員，再train好模型。那時候各個模型的質(zhì)量也都一般，合成的數(shù)據(jù)一眼就能挑到一堆毛病。
事情的轉(zhuǎn)折要從sora開始，了解到那么好的效果居然大量應(yīng)用了合成數(shù)據(jù)之后，我開始意識到自己還停留在上一個時代。首先大模型的能力是一直在提升的，去年還被狂吹的GPT3.5現(xiàn)在已經(jīng)被甩了幾條街了，大模型在很多任務(wù)上都可以達到人類標注員的水平；其次在大模型時代，應(yīng)該多去發(fā)掘模型的價值，學(xué)會和AI協(xié)作，而不是上來就先驗地覺得模型生成的數(shù)據(jù)質(zhì)量不過關(guān)。
隨著業(yè)內(nèi)模型能力和使用熟練度的整體提升，今年數(shù)據(jù)合成的工作一波又一波，數(shù)據(jù)合成的前景非常客觀：
合成Prompt：GPT系列相比競品的一個顯著優(yōu)勢是數(shù)據(jù)飛輪，有源源不斷的用戶輸入。合成的Prompt則可以補足多樣性上的缺陷，今年Nemotron[2]、Llama3[3]

原文鏈接：大模型對齊下一站：合成數(shù)據(jù)