揮舞起代碼語(yǔ)料的魔杖，大模型和智能體將召喚出更強(qiáng)大的能量

AIGC動(dòng)態(tài)1年前 (2024)發(fā)布機(jī)器之心

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：揮舞起代碼語(yǔ)料的魔杖，大模型和智能體將召喚出更強(qiáng)大的能量
關(guān)鍵字：研究人員,能力,自然語(yǔ)言,反饋,任務(wù)
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5185字

內(nèi)容摘要：

機(jī)器之心專(zhuān)欄
作者：楊可、劉嘉騰正如瑞斯福茲魔杖締造了諸如鄧布利多在內(nèi)的歷代非凡魔法師的傳奇，具有巨大潛能的傳統(tǒng)大型語(yǔ)言模型，在經(jīng)過(guò)代碼語(yǔ)料的預(yù)訓(xùn)練 / 精調(diào)后，掌握了更超出本源的執(zhí)行力。
具體來(lái)說(shuō)，進(jìn)階版的大模型在編寫(xiě)代碼、更強(qiáng)推理、自主援引執(zhí)行接口、自主完善等方面都獲得了提升，這將為它作為 AI 智能體、執(zhí)行下游任務(wù)時(shí)方方面面帶來(lái)增益。
近日，伊利諾伊大學(xué)厄巴納 – 香檳分校（UIUC）的研究團(tuán)隊(duì)發(fā)布了一項(xiàng)重要綜述。論文鏈接: https://arxiv.org/abs/2401.00812
這篇綜述探討了代碼（Code）如何賦予大型語(yǔ)言模型（LLMs）及其基于此的智能體（Intelligent Agents）強(qiáng)大的能力。其中，code 特指機(jī)器可執(zhí)行且人類(lèi)可讀的形式語(yǔ)言，如編程語(yǔ)言、預(yù)定義函數(shù)集等。類(lèi)似于我們指導(dǎo) LLMs 理解 / 生成傳統(tǒng)自然語(yǔ)言，讓 LLMs 精通 code，僅需要將相同的語(yǔ)言建模訓(xùn)練目標(biāo)應(yīng)用在 code 數(shù)據(jù)上。
和傳統(tǒng)語(yǔ)言模型不同，當(dāng)今通用的 LLMs，如 Llama2、GPT4，不僅在體量上顯著提升，并且它們經(jīng)歷了于典型自然語(yǔ)言語(yǔ)料的 code 語(yǔ)

原文鏈接：揮舞起代碼語(yǔ)料的魔杖，大模型和智能體將召喚出更強(qiáng)大的能量