創造歷史!DeepSeek登頂AppStore,開源競相復現、Meta 很焦慮
AI 社區都開始學習了。
原標題:創造歷史!DeepSeek登頂AppStore,開源競相復現、Meta 很焦慮
文章來源:Founder Park
內容字數:6266字
DeepSeek橫空出世,引發AI界震動
DeepSeek于20日發布的推理模型DeepSeek-R1,迅速在全球AI社區掀起熱潮,其iOS應用甚至超越ChatGPT官方應用登頂App Store。DeepSeek-R1被美國頂尖大學研究人員廣泛采用,其影響力之大,甚至被認為是OpenAI和英偉達都未曾預料到的“黑天鵝”。
1. R1復現熱潮席卷AI社區
DeepSeek-R1雖然開源,但訓練數據和腳本等并未完全公開。盡管如此,其技術報告仍為復現提供了指導,引發了眾多團隊參與復現的熱潮。復現過程中遇到的難題包括:訓練流程細節缺失(超參數、數據管道、獎勵模型架構等)、冷啟動數據生成細節缺乏、硬件和基礎設施信息不足,以及缺少多階段強化學習腳本等。
其中,Hugging Face的Open R1項目備受關注,計劃分三步復現R1:第一步復現R1-Distill模型;第二步復現R1-Zero的強化學習管線;第三步通過多階段訓練得到強化學習微調版模型。香港科技大學何俊賢團隊則基于7B模型和僅8K樣本,取得了令人矚目的成果,其模型在多個基準測試中表現優異。伯克利AI研究所潘家怡團隊的TinyZero項目,更是以不到30美元的成本,基于CountDown游戲成功復現了DeepSeek-R1-Zero的部分功能,并從中得出了一些有趣的結論,例如基礎模型質量的重要性以及指令模型的學習效率。
2. Meta的焦慮與應對策略
Meta內部人士爆料,DeepSeek-R1的出現讓Meta陷入恐慌,擔憂其下一代Llama模型性能無法與之匹敵。Meta已組建四個作戰室,分別針對DeepSeek的成本降低技術、訓練數據、新技術以及模型重構展開研究。Meta希望將DeepSeek的技術應用于Llama,并考慮推出一個類似DeepSeek的多模型版本,以提高效率和降低運行成本。
3. 未來展望
DeepSeek的出現無疑對AI領域產生了深遠的影響,促使其他公司加快了技術迭代的步伐。Meta等公司面臨的壓力,將推動AI技術更快發展,也預示著2025年AI領域將出現新的格局和更具競爭力的模型。 DeepSeek帶來的鯰魚效應,將持續推動AI技術創新和應用。
聯系作者
文章來源:Founder Park
作者微信:
作者簡介:來自極客公園,專注與科技創業者聊「真問題」。