擴(kuò)展，擴(kuò)展，還是擴(kuò)展！

原標(biāo)題：Just keep scaling！思維鏈作者Jason Wei 40分鐘講座剖析LLM擴(kuò)展范式
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：19621字

Jason Wei：大型語言模型的擴(kuò)展范式與未來展望

機(jī)器之心編輯部對Jason Wei這個名字一定不陌生。他是OpenAI資深研究科學(xué)家，思維鏈概念開山之作《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》的第一作者，其工作對思維鏈提示、指令微調(diào)和涌現(xiàn)現(xiàn)象等技術(shù)和概念的普及貢獻(xiàn)巨大。近日，他在賓夕法尼亞大學(xué)的客座講座視頻和幻燈片公開，機(jī)器之心對主要內(nèi)容進(jìn)行了整理。

1. 擴(kuò)展的定義與重要性

傳統(tǒng)上，擴(kuò)展指增加模型規(guī)模、數(shù)據(jù)量和GPU數(shù)量。Wei給出了更具體的定義：擴(kuò)展是將自身置于可沿連續(xù)軸移動并期望持續(xù)改進(jìn)的狀態(tài)。盡管擴(kuò)展面臨技術(shù)和心理挑戰(zhàn)（如高昂成本、對算法改進(jìn)的偏好、激勵機(jī)制的錯配），但它是AI進(jìn)步的關(guān)鍵引擎，并將繼續(xù)主導(dǎo)該領(lǐng)域的發(fā)展。

2. 擴(kuò)展范式一：下一詞預(yù)測

從2018年至今，下一詞預(yù)測是主流范式。它實際上是一個大規(guī)模多任務(wù)學(xué)習(xí)過程，通過預(yù)測下一詞，模型學(xué)法、世界知識、情感分析、翻譯等多種能力。模型的整體準(zhǔn)確率是多個子任務(wù)加權(quán)和，涌現(xiàn)現(xiàn)象正是由于不同任務(wù)提升速度不同所致。雖然下一詞預(yù)測可能最終實現(xiàn)AGI，但其處理復(fù)雜任務(wù)存在局限性，需要持續(xù)擴(kuò)展。

3. 擴(kuò)展范式二：基于思維鏈擴(kuò)展強(qiáng)化學(xué)習(xí)

思維鏈(CoT)讓模型像人類一樣展示推理過程。OpenAI通過強(qiáng)化學(xué)習(xí)優(yōu)化模型的思維鏈能力，使其更好地解決復(fù)雜問題。o1項目是這一范式的代表，它能進(jìn)行多步推理，解決復(fù)雜問題，例如競賽數(shù)學(xué)題。這表明，延長模型思考時間，提升推理能力，是擴(kuò)展的另一個重要方向。

4. AI 文化的變革

擴(kuò)展改變了AI研究文化：研究重點從改進(jìn)算法轉(zhuǎn)向改進(jìn)數(shù)據(jù)質(zhì)量；基準(zhǔn)測試被“飽和”的速度加快；從單任務(wù)模型轉(zhuǎn)向高度多任務(wù)模型；智能和用戶體驗成為可分別改進(jìn)的維度；需要更大規(guī)模的團(tuán)隊合作。

5. 未來展望

Wei展望了AI的未來發(fā)展方向：AI在科學(xué)和醫(yī)療健康領(lǐng)域的應(yīng)用；提高事實準(zhǔn)確性，減少虛假信息；發(fā)展多模態(tài)AI能力；增強(qiáng)工具使用能力；擴(kuò)大AI應(yīng)用范圍。他認(rèn)為，持續(xù)擴(kuò)展將推動未來五年AI取得更大的進(jìn)步，并以“just keep scaling”作為演講結(jié)束語。

總而言之，Jason Wei的演講強(qiáng)調(diào)了擴(kuò)展在大型語言模型發(fā)展中的核心作用，并指出了未來研究的重點方向，即通過持續(xù)擴(kuò)展模型規(guī)模、數(shù)據(jù)質(zhì)量以及推理能力，最終實現(xiàn)AGI的可能性。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺