Llama 2打敗GPT-4！Meta讓大模型自我獎勵自迭代，再證合成數據是LLM終局

AIGC動態歡迎閱讀

原標題：Llama 2打敗GPT-4！Meta讓大模型自我獎勵自迭代，再證合成數據是LLM終局
關鍵字：模型,研究人員,數據,指令,自我
文章來源：新智元
內容字數：6556字

內容摘要：

新智元報道編輯：桃子 潤
【新智元導讀】AI訓AI必將成為一大趨勢。Meta和NYU團隊提出讓大模型「自我獎勵」的方法，讓Llama2一舉擊敗GPT-4 0613、Claude 2、Gemini Pro領先模型。Llama 2-70B一夜之間打敗GPT-4，讓整個AI社區為之震驚！
甚至，在AlpacaEval 2.0排行榜中，微調后的模型勝率完全碾壓Claude 2、Gemini Pro等模型。
Meta和NYU研究團隊究竟提出了什么秘制配方，才能讓Llama 2-70B超強進化？
正如論文題目所言——「自我獎勵語言模型」，模型生成訓練數據，并評估這些數據的質量，然后用這些數據來自己訓練自己。
簡單來說，最新方法可以讓LLM在迭代訓練過程中不斷自我改進。
論文地址：https://arxiv.org/pdf/2401.10020.pdf
LeCun也轉贊了自家實驗室的研究。
RLAIF已經不是新鮮事了，之前包括Anthropic，谷歌都推出過自己的「AI訓AI」的技術，那么Meta的這項工作和之前的幾家的RLAIF區別在哪里呢？
我們先來了解一下Meta的自我獎勵語言模型的大概框架

原文鏈接：Llama 2打敗GPT-4！Meta讓大模型自我獎勵自迭代，再證合成數據是LLM終局

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。