創(chuàng)造歷史!DeepSeek登頂AppStore,開源競相復(fù)現(xiàn)、Meta 很焦慮
AI 社區(qū)都開始學(xué)習(xí)了。
原標(biāo)題:創(chuàng)造歷史!DeepSeek登頂AppStore,開源競相復(fù)現(xiàn)、Meta 很焦慮
文章來源:Founder Park
內(nèi)容字?jǐn)?shù):6266字
DeepSeek橫空出世,引發(fā)AI界震動(dòng)
DeepSeek于20日發(fā)布的推理模型DeepSeek-R1,迅速在全球AI社區(qū)掀起熱潮,其iOS應(yīng)用甚至超越ChatGPT官方應(yīng)用登頂App Store。DeepSeek-R1被美國頂尖大學(xué)研究人員廣泛采用,其影響力之大,甚至被認(rèn)為是OpenAI和英偉達(dá)都未曾預(yù)料到的“黑天鵝”。
1. R1復(fù)現(xiàn)熱潮席卷AI社區(qū)
DeepSeek-R1雖然開源,但訓(xùn)練數(shù)據(jù)和腳本等并未完全公開。盡管如此,其技術(shù)報(bào)告仍為復(fù)現(xiàn)提供了指導(dǎo),引發(fā)了眾多團(tuán)隊(duì)參與復(fù)現(xiàn)的熱潮。復(fù)現(xiàn)過程中遇到的難題包括:訓(xùn)練流程細(xì)節(jié)缺失(超參數(shù)、數(shù)據(jù)管道、獎(jiǎng)勵(lì)模型架構(gòu)等)、冷啟動(dòng)數(shù)據(jù)生成細(xì)節(jié)缺乏、硬件和基礎(chǔ)設(shè)施信息不足,以及缺少多階段強(qiáng)化學(xué)習(xí)腳本等。
其中,Hugging Face的Open R1項(xiàng)目備受關(guān)注,計(jì)劃分三步復(fù)現(xiàn)R1:第一步復(fù)現(xiàn)R1-Distill模型;第二步復(fù)現(xiàn)R1-Zero的強(qiáng)化學(xué)習(xí)管線;第三步通過多階段訓(xùn)練得到強(qiáng)化學(xué)習(xí)微調(diào)版模型。香港科技大學(xué)何俊賢團(tuán)隊(duì)則基于7B模型和僅8K樣本,取得了令人矚目的成果,其模型在多個(gè)基準(zhǔn)測試中表現(xiàn)優(yōu)異。伯克利AI研究所潘家怡團(tuán)隊(duì)的TinyZero項(xiàng)目,更是以不到30美元的成本,基于CountDown游戲成功復(fù)現(xiàn)了DeepSeek-R1-Zero的部分功能,并從中得出了一些有趣的結(jié)論,例如基礎(chǔ)模型質(zhì)量的重要性以及指令模型的學(xué)習(xí)效率。
2. Meta的焦慮與應(yīng)對策略
Meta內(nèi)部人士爆料,DeepSeek-R1的出現(xiàn)讓Meta陷入恐慌,擔(dān)憂其下一代Llama模型性能無法與之匹敵。Meta已組建四個(gè)作戰(zhàn)室,分別針對DeepSeek的成本降低技術(shù)、訓(xùn)練數(shù)據(jù)、新技術(shù)以及模型重構(gòu)展開研究。Meta希望將DeepSeek的技術(shù)應(yīng)用于Llama,并考慮推出一個(gè)類似DeepSeek的多模型版本,以提高效率和降低運(yùn)行成本。
3. 未來展望
DeepSeek的出現(xiàn)無疑對AI領(lǐng)域產(chǎn)生了深遠(yuǎn)的影響,促使其他公司加快了技術(shù)迭代的步伐。Meta等公司面臨的壓力,將推動(dòng)AI技術(shù)更快發(fā)展,也預(yù)示著2025年AI領(lǐng)域?qū)⒊霈F(xiàn)新的格局和更具競爭力的模型。 DeepSeek帶來的鯰魚效應(yīng),將持續(xù)推動(dòng)AI技術(shù)創(chuàng)新和應(yīng)用。
聯(lián)系作者
文章來源:Founder Park
作者微信:
作者簡介:來自極客公園,專注與科技創(chuàng)業(yè)者聊「真問題」。