大模型對齊下一站：合成數據

AIGC動態歡迎閱讀

原標題：大模型對齊下一站：合成數據
關鍵字：模型,騰訊,報告,數據,復雜度
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

開講預約11月1日上午10點，南開大學在讀博士李森茂，將以《基于擴散模型編碼器模塊的推理加速》為主題進行直播講解，歡迎掃名~大模型訓練中，數據質量已經是所有人的了。在23年開始接觸Alignment之后，我一直是人工標注流派，深信InstructGPT[1]中所描述的，先train好標注員，再train好模型。那時候各個模型的質量也都一般，合成的數據一眼就能挑到一堆毛病。
事情的轉折要從sora開始，了解到那么好的效果居然大量應用了合成數據之后，我開始意識到自己還停留在上一個時代。首先大模型的能力是一直在提升的，去年還被狂吹的GPT3.5現在已經被甩了幾條街了，大模型在很多任務上都可以達到人類標注員的水平；其次在大模型時代，應該多去發掘模型的價值，學會和AI協作，而不是上來就先驗地覺得模型生成的數據質量不過關。
隨著業內模型能力和使用熟練度的整體提升，今年數據合成的工作一波又一波，數據合成的前景非?？陀^：
合成Prompt：GPT系列相比競品的一個顯著優勢是數據飛輪，有源源不斷的用戶輸入。合成的Prompt則可以補足多樣性上的缺陷，今年Nemotron[2]、Llama3[3]

原文鏈接：大模型對齊下一站：合成數據

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：