ChatGPT 負責人：GPT-4 越來越聰明是因為 post-traning，大模型短期沒有數據瓶頸

AIGC動態歡迎閱讀

原標題：ChatGPT 負責人：GPT-4 越來越聰明是因為 post-traning，大模型短期沒有數據瓶頸
關鍵字：模型,解讀,數據,任務,能力
文章來源：Founder Park
內容字數：0字

內容摘要：

本文編譯自 Dwarkesh Patel 對 John Schulman 的訪談。John Schulman 是 OpenAI 聯合創始人、研究科學家（OpenAI現存最主要具有技術背景的創始人），他領導了 ChatGPT 項目，在 OpenAI 內部長期負責模型 post-traning，在 Ilya 和 Jan Leike 離開 OpenAI 后，下一代模型安全性風險相關的研究也會由 John Schulman 來接替負責。John Schulman 的研究主要集中在 RLHF 相關領域，他曾提出 RLHF 是 ChatGPT 成功的秘密武器。
本次訪談中，John Schulman 主要分享了自己關于模型訓練的最新認知。John 認為 post-training 是模型變得越來越聰明的重要原因，GPT-4 的 Elo 分數之所以能比第一代 GPT 高出 100 分也和 post-traning 的提升相關，在未來的模型訓練中，post-traning 需要被分配到更多的計算資源。
對于下一階段模型訓練的問題上。John Schulman 認為模型能力的提升應該集中在如何處理連續任

原文鏈接：ChatGPT 負責人：GPT-4 越來越聰明是因為 post-traning，大模型短期沒有數據瓶頸

聯系作者

文章來源：Founder Park
作者微信：Founder-Park
作者簡介：來自極客公園，專注與科技創業者聊「真問題」。