LLM巫師，代碼預訓練是魔杖！UIUC華人團隊揭秘代碼數據三大好處

AIGC動態歡迎閱讀

原標題：LLM巫師，代碼預訓練是魔杖！UIUC華人團隊揭秘代碼數據三大好處
關鍵字：代碼,報告,任務,反饋,能力
文章來源：新智元
內容字數：9932字

內容摘要：

新智元報道編輯：LRS
【新智元導讀】如果語言模型是巫師，代碼預訓練就是魔杖！大模型時代的語言模型（LLM）不僅在尺寸上變得更大了，而且訓練數據也同時包含了自然語言和形式語言（代碼）。
作為人類和計算機之間的媒介，代碼可以將高級目標轉換為可執行的中間步驟，具有語法標準、邏輯一致、抽象和模塊化的特點。
最近，來自伊利諾伊大學香檳分校的研究團隊發布了一篇綜述報告，概述了將代碼集成到LLM訓練數據中的各種好處。論文鏈接：https://arxiv.org/abs/2401.00812v1
具體來說，除了可以提升LLM在代碼生成上的能力外，好處還包括以下三點：
1. 有助于解鎖LLM的推理能力，使能夠應用于一系列更復雜的自然語言任務上；
2. 引導LLM生成結構化且精確的中間步驟，之后可以通過函數調用的方式連接到外部執行終端（external execution ends）；
3. 可以利用代碼編譯和執行環境為模型的進一步改進提供了更多樣化的反饋信號。此外，研究人員還追蹤了LLM作為智能智能體（intelligent agents，IA）時，在理解指令、分解目標、規劃和執行行動（execut

原文鏈接：LLM巫師，代碼預訓練是魔杖！UIUC華人團隊揭秘代碼數據三大好處

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。