AI大牛卡帕西談DeepSeek。

原標(biāo)題：AI大牛卡帕西盛贊DeepSeek！對(duì)著論文夸了半小時(shí)，稱其思維能力“難以置信”
文章來源：智東西
內(nèi)容字?jǐn)?shù)：6557字

卡帕西詳解DeepSeek-R1：強(qiáng)化學(xué)習(xí)引領(lǐng)大模型新篇章

本文總結(jié)了AI大牛安德烈·卡帕西在其3.5小時(shí)YouTube課程中關(guān)于DeepSeek-R1及強(qiáng)化學(xué)習(xí)的精彩內(nèi)容。課程中，卡帕西重點(diǎn)闡述了強(qiáng)化學(xué)習(xí)在大型語言模型訓(xùn)練中的關(guān)鍵作用，以及DeepSeek-R1研究的突破性意義。

1. DeepSeek-R1：強(qiáng)化學(xué)習(xí)的可靠驗(yàn)證

卡帕西將大語言模型的訓(xùn)練過程分為三個(gè)階段：預(yù)訓(xùn)練、監(jiān)督微調(diào)(SFT)和強(qiáng)化學(xué)習(xí)(RL)。他強(qiáng)調(diào)，強(qiáng)化學(xué)習(xí)是“一切調(diào)整到位的環(huán)節(jié)”。DeepSeek-R1論文的重大貢獻(xiàn)在于首次公開討論了強(qiáng)化學(xué)習(xí)在大型語言模型中的應(yīng)用，并分享了其如何賦予模型推理能力。DeepSeek-R1在AIME數(shù)學(xué)競賽中的表現(xiàn)印證了這一點(diǎn)：通過不斷試錯(cuò)和獎(jiǎng)勵(lì)正確答案，模型準(zhǔn)確率持續(xù)提升，并涌現(xiàn)出類似人類的解題策略，甚至發(fā)現(xiàn)了更長的答案能提升準(zhǔn)確率的規(guī)律。這種“aha moment”體現(xiàn)了強(qiáng)化學(xué)習(xí)的強(qiáng)大潛力，卡帕西認(rèn)為這是RL應(yīng)用于大語言模型最令人難以置信的成果。

2. 強(qiáng)化學(xué)習(xí)的巨大潛力：超越監(jiān)督學(xué)習(xí)的局限

卡帕西將DeepSeek-R1的成功與AlphaGo的成就進(jìn)行類比。AlphaGo通過強(qiáng)化學(xué)習(xí)，超越了人類圍棋頂尖高手，甚至創(chuàng)造出“神之一手”——人類難以預(yù)料的制勝策略。這證明了強(qiáng)化學(xué)習(xí)能夠突破監(jiān)督學(xué)習(xí)的限制，發(fā)現(xiàn)人類未知的解決方案。卡帕西認(rèn)為，在大語言模型領(lǐng)域持續(xù)擴(kuò)展強(qiáng)化學(xué)習(xí)，有可能解鎖人類從未設(shè)想過的思考方式，例如發(fā)現(xiàn)新的類比、全新的思考策略，甚至發(fā)明更適合思考的語言。

3. 未來趨勢：多模態(tài)AI、Agents和測試時(shí)訓(xùn)練

卡帕西還展望了未來AI發(fā)展的幾個(gè)重要趨勢：首先是多模態(tài)AI，他認(rèn)為音頻、圖片、視頻等數(shù)據(jù)與文本數(shù)據(jù)沒有本質(zhì)區(qū)別，都可以被token化，因此大語言模型的訓(xùn)練方法同樣適用于多模態(tài)AI。其次是Agents，即具備自主規(guī)劃和執(zhí)行復(fù)雜任務(wù)能力的AI系統(tǒng)。最后是測試時(shí)訓(xùn)練(test-time training)，這將允許模型根據(jù)新數(shù)據(jù)微調(diào)參數(shù)，從而更好地適應(yīng)特定問題。

4. DeepSeek的突破性意義

卡帕西高度評(píng)價(jià)了DeepSeek-R1的開源貢獻(xiàn)，認(rèn)為其對(duì)整個(gè)AI領(lǐng)域的發(fā)展具有積極意義，并期待DeepSeek未來帶來更多驚喜。盡管存在一些質(zhì)疑的聲音，但DeepSeek的突破性成就已廣受認(rèn)可。

聯(lián)系作者

文章來源：智東西
作者微信：
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。