AI大牛卡帕西盛贊DeepSeek！對著論文夸了半小時，稱其思維能力“難以置信”

AI大牛卡帕西談DeepSeek。

原標題：AI大牛卡帕西盛贊DeepSeek！對著論文夸了半小時，稱其思維能力“難以置信”
文章來源：智東西
內容字數：6557字

卡帕西詳解DeepSeek-R1：強化學習引領大模型新篇章

本文總結了AI大牛安德烈·卡帕西在其3.5小時YouTube課程中關于DeepSeek-R1及強化學習的精彩內容。課程中，卡帕西重點闡述了強化學習在大型語言模型訓練中的關鍵作用，以及DeepSeek-R1研究的突破性意義。

1. DeepSeek-R1：強化學習的可靠驗證

卡帕西將大語言模型的訓練過程分為三個階段：預訓練、監督微調(SFT)和強化學習(RL)。他強調，強化學習是“一切調整到位的環節”。DeepSeek-R1論文的重大貢獻在于首次公開討論了強化學習在大型語言模型中的應用，并分享了其如何賦予模型推理能力。DeepSeek-R1在AIME數學競賽中的表現印證了這一點：通過不斷試錯和獎勵正確答案，模型準確率持續提升，并涌現出類似人類的解題策略，甚至發現了更長的答案能提升準確率的規律。這種“aha moment”體現了強化學習的強大潛力，卡帕西認為這是RL應用于大語言模型最令人難以置信的成果。

2. 強化學習的巨大潛力：超越監督學習的局限

卡帕西將DeepSeek-R1的成功與AlphaGo的成就進行類比。AlphaGo通過強化學習，超越了人類圍棋頂尖高手，甚至創造出“神之一手”——人類難以預料的制勝策略。這證明了強化學習能夠突破監督學習的限制，發現人類未知的解決方案。卡帕西認為，在大語言模型領域持續擴展強化學習，有可能解鎖人類從未設想過的思考方式，例如發現新的類比、全新的思考策略，甚至發明更適合思考的語言。

3. 未來趨勢：多模態AI、Agents和測試時訓練

卡帕西還展望了未來AI發展的幾個重要趨勢：首先是多模態AI，他認為音頻、圖片、視頻等數據與文本數據沒有本質區別，都可以被token化，因此大語言模型的訓練方法同樣適用于多模態AI。其次是Agents，即具備自主規劃和執行復雜任務能力的AI系統。最后是測試時訓練(test-time training)，這將允許模型根據新數據微調參數，從而更好地適應特定問題。