離譜！大學生用50美元零花錢訓練出媲美OpenAI的AI模型，巨頭的噩夢？

原標題：離譜！大學生用50美元零花錢訓練出媲美OpenAI的AI模型，巨頭的噩夢？
文章來源：AI范兒
內容字數：2391字

斯坦福與華盛頓大學AI研究人員低成本復制頂尖推理模型

1. **低成本高性能AI模型s1誕生:** 斯坦福大學和華盛頓大學的研究人員僅花費不到50美元的云計算費用，就訓練出一個名為s1的AI推理模型，其性能可與OpenAI的o1和DeepSeek的R1等頂尖模型媲美。該模型及其相關數據和代碼已開源。

2. **模型訓練方法：蒸餾技術與監督微調:** s1模型的訓練采用蒸餾技術，即學習另一個AI模型（谷歌的Gemini 2.0 Flash Thinking Experimental）的答案和推理過程。研究人員使用了監督微調(SFT)方法，成本遠低于DeepSeek訓練R1時使用的大規模強化學習方法。SFT通過明確指示AI模型模仿數據集中的特定行為來進行訓練，使用了僅包含1000個問題的數據集。

3. **成本優勢與技術壁壘:** s1模型的低成本訓練引發了人們對AI模型商品化的思考。如此低廉的成本復制出價值數百萬美元的模型，挑戰了現有的技術壁壘，也讓大型AI實驗室感到不滿，OpenAI甚至指控DeepSeek不正當收集數據。

4. **“測試時擴展”的巧妙方法:** s1團隊的目標是實現強大的推理性能和“測試時擴展”，即讓模型有更多思考時間。他們通過在s1推理過程中加入“wait”這個詞，巧妙地延長了模型的思考時間，從而提高了答案準確性。

5. **資源消耗與未來展望:** s1的訓練使用了16個Nvidia H100 GPU，耗時不到30分鐘，租用這些算力成本約為20美元。雖然蒸餾技術能廉價復制AI模型能力，但它并不能創造出比現有模型更優秀的模型。大型AI實驗室在AI基礎設施上的巨額投資，對于推動AI創新仍然至關重要。

6. **谷歌Gemini 2.0的使用與限制:** 研究人員利用谷歌免費開放的Gemini 2.0 Flash Thinking Experimental模型進行蒸餾，但谷歌的使用條款禁止對其模型進行逆向工程以開發競爭。這引發了關于AI模型開源與商業化之間平衡的討論。

7. **s1模型的開源意義:** s1模型的開源，為AI研究人員提供了寶貴的學習資源，降低了AI模型開發的門檻，促進了AI領域的創新和發展。但是，也需要關注其潛在的風險，例如模型被濫用。

8. **總結:** s1模型的成功證明了通過蒸餾技術和監督微調，可以低成本地訓練出性能強大的AI推理模型。這不僅挑戰了現有的技術壁壘，也為AI領域未來的發展帶來了新的可能性，但同時也需要考慮其潛在的風險和倫理問題。

聯系作者

文章來源：AI范兒
作者微信：
作者簡介：專注于探索 AIGC，發掘人工智能的樂趣。