AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：LLM巫師，代碼預(yù)訓(xùn)練是魔杖！UIUC華人團(tuán)隊(duì)揭秘代碼數(shù)據(jù)三大好處
關(guān)鍵字：代碼,報(bào)告,任務(wù),反饋,能力
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：9932字

內(nèi)容摘要：

新智元報(bào)道編輯：LRS
【新智元導(dǎo)讀】如果語(yǔ)言模型是巫師，代碼預(yù)訓(xùn)練就是魔杖！大模型時(shí)代的語(yǔ)言模型（LLM）不僅在尺寸上變得更大了，而且訓(xùn)練數(shù)據(jù)也同時(shí)包含了自然語(yǔ)言和形式語(yǔ)言（代碼）。
作為人類(lèi)和計(jì)算機(jī)之間的媒介，代碼可以將高級(jí)目標(biāo)轉(zhuǎn)換為可執(zhí)行的中間步驟，具有語(yǔ)法標(biāo)準(zhǔn)、邏輯一致、抽象和模塊化的特點(diǎn)。
最近，來(lái)自伊利諾伊大學(xué)香檳分校的研究團(tuán)隊(duì)發(fā)布了一篇綜述報(bào)告，概述了將代碼集成到LLM訓(xùn)練數(shù)據(jù)中的各種好處。論文鏈接：https://arxiv.org/abs/2401.00812v1
具體來(lái)說(shuō)，除了可以提升LLM在代碼生成上的能力外，好處還包括以下三點(diǎn)：
1. 有助于解鎖LLM的推理能力，使能夠應(yīng)用于一系列更復(fù)雜的自然語(yǔ)言任務(wù)上；
2. 引導(dǎo)LLM生成結(jié)構(gòu)化且精確的中間步驟，之后可以通過(guò)函數(shù)調(diào)用的方式連接到外部執(zhí)行終端（external execution ends）；
3. 可以利用代碼編譯和執(zhí)行環(huán)境為模型的進(jìn)一步改進(jìn)提供了更多樣化的反饋信號(hào)。此外，研究人員還追蹤了LLM作為智能智能體（intelligent agents，IA）時(shí)，在理解指令、分解目標(biāo)、規(guī)劃和執(zhí)行行動(dòng)（execut

原文鏈接：LLM巫師，代碼預(yù)訓(xùn)練是魔杖！UIUC華人團(tuán)隊(duì)揭秘代碼數(shù)據(jù)三大好處

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類(lèi)社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。