LLM巫師，代碼預訓練是魔杖！UIUC華人團隊揭秘代碼數(shù)據(jù)三大好處

AIGC動態(tài)歡迎閱讀

原標題：LLM巫師，代碼預訓練是魔杖！UIUC華人團隊揭秘代碼數(shù)據(jù)三大好處
關鍵字：代碼,報告,任務,反饋,能力
文章來源：新智元
內(nèi)容字數(shù)：9932字

內(nèi)容摘要：

新智元報道編輯：LRS
【新智元導讀】如果語言模型是巫師，代碼預訓練就是魔杖！大模型時代的語言模型（LLM）不僅在尺寸上變得更大了，而且訓練數(shù)據(jù)也同時包含了自然語言和形式語言（代碼）。
作為人類和計算機之間的媒介，代碼可以將高級目標轉換為可執(zhí)行的中間步驟，具有語法標準、邏輯一致、抽象和模塊化的特點。
最近，來自伊利諾伊大學香檳分校的研究團隊發(fā)布了一篇綜述報告，概述了將代碼集成到LLM訓練數(shù)據(jù)中的各種好處。論文鏈接：https://arxiv.org/abs/2401.00812v1
具體來說，除了可以提升LLM在代碼生成上的能力外，好處還包括以下三點：
1. 有助于解鎖LLM的推理能力，使能夠應用于一系列更復雜的自然語言任務上；
2. 引導LLM生成結構化且精確的中間步驟，之后可以通過函數(shù)調(diào)用的方式連接到外部執(zhí)行終端（external execution ends）；
3. 可以利用代碼編譯和執(zhí)行環(huán)境為模型的進一步改進提供了更多樣化的反饋信號。此外，研究人員還追蹤了LLM作為智能智能體（intelligent agents，IA）時，在理解指令、分解目標、規(guī)劃和執(zhí)行行動（execut

原文鏈接：LLM巫師，代碼預訓練是魔杖！UIUC華人團隊揭秘代碼數(shù)據(jù)三大好處

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發(fā)展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。