AI信任危機之后，揭秘預訓練如何塑造機器的「可信靈魂」

AIGC動態歡迎閱讀

原標題：AI信任危機之后，揭秘預訓練如何塑造機器的「可信靈魂」
關鍵字：表征,模型,切片,團隊,向量
文章來源：機器之心
內容字數：11532字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您?有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。圖表 1:大模型的通用訓練流程 [1]
在人工智能的前沿領域，大語言模型（Large Language Models，LLMs）由于其強大的能力正吸引著全球研究者的目光。在 LLMs 的研發流程中，預訓練階段占據著舉足輕重的地位，它不僅消耗了大量的計算資源，還蘊含著許多尚未揭示的秘密。根據 OpenAI 的研究，在 InstructGPT 的開發過程中，預訓練階段近乎耗盡了全部的算力和數據資源，占比高達 98% [2]。圖表 2: 帶著笑臉的修格斯 [3]
預訓練模型宛如一頭未經雕琢卻力量強大的猛獸。在經歷了漫長的預訓練階段后，模型已經建模了大量而又豐富的世界知識。借助高質量的對話數據進行有監督微調（Supervised Fine-Tuning，SFT），

原文鏈接：AI信任危機之后，揭秘預訓練如何塑造機器的「可信靈魂」

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺