s1

s1 – 斯坦福和華盛頓大學推出低成本、高性能的AI推理模型

s1是什么

s1是由斯坦福大學和華盛頓大學的研究者團隊共同研發的一款低成本、高效能的AI推理模型。通過“蒸餾”技術，s1從谷歌的Gemini 2.0 Flash Thinking Experimental模型中提取了其推理能力。研究團隊僅利用1000個精心設計的問題及其答案進行模型訓練，訓練成本低于50美元，且訓練時間不超過30分鐘。s1在數學和編程能力測試中表現出色，能夠與OpenAI的o1和DeepSeek R1等頂尖推理模型相媲美。

s1的主要功能

出色的推理能力：s1模型專注于解決復雜問題，特別是在數學和編程領域表現卓越。它能夠應對高難度的數學競賽題目，例如AIME（美國數學邀請賽）問題，且在此類問題上的表現顯著超過OpenAI的o1-preview模型，提升幅度達27%。
低成本訓練：s1模型的訓練僅依賴于1000個經過精心挑選的問題及其推理過程，訓練成本極其低廉，僅需不到50美元的云計算費用，且訓練時長不超過30分鐘。
測試時擴展能力：s1模型采用預算技術，能夠在測試階段動態調整計算資源。通過終止模型的思考過程或添加“Wait”指令以延長思考時間，模型得以重新審視答案，糾正錯誤的推理步驟，從而提升推理效果。
開源與可擴展性：s1模型的代碼、數據及訓練方法已在GitHub上開源，方便其他研究人員與開發者進行使用和進一步改進。

s1的技術原理

數據集構建（s1K）
- 數據來源：s1模型的數據集s1K包含1000個高質量的問題，這些問題從多個領域（如數學、物理、化學等）中篩選而來，涵蓋了多種推理任務。
- 篩選標準：通過難度、多樣性和質量三個標準對問題進行篩選。難度通過模型性能和推理軌跡長度進行衡量；多樣性則依據問題所屬的領域分類；質量確保數據的格式及內容的準確性。
- 最終選擇：最終選定的問題覆蓋50個不同的領域，確保數據的多樣性和代表性。
監督微調（SFT）
- 模型選擇：選擇Qwen2.5-32B-Instruct作為基礎模型，該模型在數學任務中表現優異。
- 訓練過程：在s1K數據集上進行監督微調，訓練時間為26分鐘，使用16個NVIDIA H100 GPU。訓練期間，模型學習了從問題到推理軌跡和答案的映射。
預算（Budget Forcing）
- 控制測試時計算量：通過在測試階段終止或延長模型的思考過程來控制計算資源，具體方法包括：
  - 終止：當模型生成的思考令牌數量超過預設的最大限制時，終止思考過程，直接輸出答案。
  - 追加“Wait”指令：若希望模型思考更長時間，則在當前推理軌跡后添加“Wait”指令，以促使模型繼續探索。
測試時擴展方法的評估
- 評估指標：通過控制性（Control）、擴展性（Scaling）和性能（Performance）三個指標對不同的測試時擴展方法進行評估。
- 方法比較：s1模型比較了多種測試時擴展方法，包括基于令牌的控制、基于步驟的控制和基于類別的控制。最終，預算方法在控制性、擴展性和性能方面表現最佳。