LLM巫師,代碼預(yù)訓(xùn)練是魔杖!UIUC華人團(tuán)隊(duì)揭秘代碼數(shù)據(jù)三大好處

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:LLM巫師,代碼預(yù)訓(xùn)練是魔杖!UIUC華人團(tuán)隊(duì)揭秘代碼數(shù)據(jù)三大好處
關(guān)鍵字:代碼,報(bào)告,任務(wù),反饋,能力
文章來(lái)源:新智元
內(nèi)容字?jǐn)?shù):9932字
內(nèi)容摘要:
新智元報(bào)道編輯:LRS
【新智元導(dǎo)讀】如果語(yǔ)言模型是巫師,代碼預(yù)訓(xùn)練就是魔杖!大模型時(shí)代的語(yǔ)言模型(LLM)不僅在尺寸上變得更大了,而且訓(xùn)練數(shù)據(jù)也同時(shí)包含了自然語(yǔ)言和形式語(yǔ)言(代碼)。
作為人類(lèi)和計(jì)算機(jī)之間的媒介,代碼可以將高級(jí)目標(biāo)轉(zhuǎn)換為可執(zhí)行的中間步驟,具有語(yǔ)法標(biāo)準(zhǔn)、邏輯一致、抽象和模塊化的特點(diǎn)。
最近,來(lái)自伊利諾伊大學(xué)香檳分校的研究團(tuán)隊(duì)發(fā)布了一篇綜述報(bào)告,概述了將代碼集成到LLM訓(xùn)練數(shù)據(jù)中的各種好處。論文鏈接:https://arxiv.org/abs/2401.00812v1
具體來(lái)說(shuō),除了可以提升LLM在代碼生成上的能力外,好處還包括以下三點(diǎn):
1. 有助于解鎖LLM的推理能力,使能夠應(yīng)用于一系列更復(fù)雜的自然語(yǔ)言任務(wù)上;
2. 引導(dǎo)LLM生成結(jié)構(gòu)化且精確的中間步驟,之后可以通過(guò)函數(shù)調(diào)用的方式連接到外部執(zhí)行終端(external execution ends);
3. 可以利用代碼編譯和執(zhí)行環(huán)境為模型的進(jìn)一步改進(jìn)提供了更多樣化的反饋信號(hào)。此外,研究人員還追蹤了LLM作為智能智能體(intelligent agents,IA)時(shí),在理解指令、分解目標(biāo)、規(guī)劃和執(zhí)行行動(dòng)(execut
原文鏈接:LLM巫師,代碼預(yù)訓(xùn)練是魔杖!UIUC華人團(tuán)隊(duì)揭秘代碼數(shù)據(jù)三大好處
聯(lián)系作者
文章來(lái)源:新智元
作者微信:AI_era
作者簡(jiǎn)介:智能+中國(guó)主平臺(tái),致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展,關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類(lèi)社會(huì)與文明進(jìn)化的影響,領(lǐng)航中國(guó)新智能時(shí)代。

粵公網(wǎng)安備 44011502001135號(hào)