涵蓋500多項研究、50多個模型，代碼大模型綜述來了

AIGC動態歡迎閱讀

原標題：涵蓋500多項研究、50多個模型，代碼大模型綜述來了

關鍵字：代碼,模型,語言,任務,報告

文章來源：機器之心

內容字數：20064字

內容摘要：機器之心報道編輯：Panda W本文帶你全面洞悉用LLM寫代碼的各式方法。隨著 BERT 和 GPT 等預訓練 Transformer 的出現，語言建模近些年來取得了顯著進步。隨著大型語言模型（LLM）的規模擴展至數以千萬計的參數數量，LLM 開始展現出通用人工智能的跡象，它們的應用也已經不局限于文本處理。Codex 首次展現出了 LLM 在代碼處理方面的出色能力，之后更是出現了 GitHub Copilot 這樣的商業產品以及 StarCoder 和 Code LLaMA 等開源代碼模型。但是，預訓練 Transformer 在代碼處理方面的應用可以追溯到僅解碼器（decoder-only）自回歸模型成為主流技術之前的時期，而這一領域還尚沒有一篇完整的綜述。上海交通大學和螞蟻集團的一個研究團隊填補了這一空白。他們對用于代碼的語言模型進行了全景式的總結，覆蓋了 50 多個模型、30 多個下…

原文鏈接：點此閱讀原文：涵蓋500多項研究、50多個模型，代碼大模型綜述來了

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺