AI信任危機(jī)之后，揭秘預(yù)訓(xùn)練如何塑造機(jī)器的「可信靈魂」

AIGC動態(tài)2年前 (2024)發(fā)布機(jī)器之心

AIGC動態(tài)歡迎閱讀

原標(biāo)題：AI信任危機(jī)之后，揭秘預(yù)訓(xùn)練如何塑造機(jī)器的「可信靈魂」
關(guān)鍵字：表征,模型,切片,團(tuán)隊(duì),向量
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：11532字

內(nèi)容摘要：

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報(bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您?有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。圖表 1:大模型的通用訓(xùn)練流程 [1]
在人工智能的前沿領(lǐng)域，大語言模型（Large Language Models，LLMs）由于其強(qiáng)大的能力正吸引著全球研究者的目光。在 LLMs 的研發(fā)流程中，預(yù)訓(xùn)練階段占據(jù)著舉足輕重的地位，它不僅消耗了大量的計(jì)算資源，還蘊(yùn)含著許多尚未揭示的秘密。根據(jù) OpenAI 的研究，在 InstructGPT 的開發(fā)過程中，預(yù)訓(xùn)練階段近乎耗盡了全部的算力和數(shù)據(jù)資源，占比高達(dá) 98% [2]。圖表 2: 帶著笑臉的修格斯 [3]
預(yù)訓(xùn)練模型宛如一頭未經(jīng)雕琢卻力量強(qiáng)大的猛獸。在經(jīng)歷了漫長的預(yù)訓(xùn)練階段后，模型已經(jīng)建模了大量而又豐富的世界知識。借助高質(zhì)量的對話數(shù)據(jù)進(jìn)行有監(jiān)督微調(diào)（Supervised Fine-Tuning，SFT），

原文鏈接：AI信任危機(jī)之后，揭秘預(yù)訓(xùn)練如何塑造機(jī)器的「可信靈魂」