LLM巫師，代碼預(yù)訓(xùn)練是魔杖！UIUC華人團隊揭秘代碼數(shù)據(jù)三大好處

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LLM巫師，代碼預(yù)訓(xùn)練是魔杖！UIUC華人團隊揭秘代碼數(shù)據(jù)三大好處
關(guān)鍵字：代碼,報告,任務(wù),反饋,能力
文章來源：新智元
內(nèi)容字?jǐn)?shù)：9932字

內(nèi)容摘要：

新智元報道編輯：LRS
【新智元導(dǎo)讀】如果語言模型是巫師，代碼預(yù)訓(xùn)練就是魔杖！大模型時代的語言模型（LLM）不僅在尺寸上變得更大了，而且訓(xùn)練數(shù)據(jù)也同時包含了自然語言和形式語言（代碼）。
作為人類和計算機之間的媒介，代碼可以將高級目標(biāo)轉(zhuǎn)換為可執(zhí)行的中間步驟，具有語法標(biāo)準(zhǔn)、邏輯一致、抽象和模塊化的特點。
最近，來自伊利諾伊大學(xué)香檳分校的研究團隊發(fā)布了一篇綜述報告，概述了將代碼集成到LLM訓(xùn)練數(shù)據(jù)中的各種好處。論文鏈接：https://arxiv.org/abs/2401.00812v1
具體來說，除了可以提升LLM在代碼生成上的能力外，好處還包括以下三點：
1. 有助于解鎖LLM的推理能力，使能夠應(yīng)用于一系列更復(fù)雜的自然語言任務(wù)上；
2. 引導(dǎo)LLM生成結(jié)構(gòu)化且精確的中間步驟，之后可以通過函數(shù)調(diào)用的方式連接到外部執(zhí)行終端（external execution ends）；
3. 可以利用代碼編譯和執(zhí)行環(huán)境為模型的進一步改進提供了更多樣化的反饋信號。此外，研究人員還追蹤了LLM作為智能智能體（intelligent agents，IA）時，在理解指令、分解目標(biāo)、規(guī)劃和執(zhí)行行動（execut

原文鏈接：LLM巫師，代碼預(yù)訓(xùn)練是魔杖！UIUC華人團隊揭秘代碼數(shù)據(jù)三大好處

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。