s1 – 斯坦福和華盛頓大學(xué)推出低成本、高性能的AI推理模型

s1是什么

s1是由斯坦福大學(xué)和華盛頓大學(xué)的研究者團隊共同研發(fā)的一款低成本、高效能的AI推理模型。通過“蒸餾”技術(shù)，s1從谷歌的Gemini 2.0 Flash Thinking Experimental模型中提取了其推理能力。研究團隊僅利用1000個精心設(shè)計的問題及其答案進(jìn)行模型訓(xùn)練，訓(xùn)練成本低于50美元，且訓(xùn)練時間不超過30分鐘。s1在數(shù)學(xué)和編程能力測試中表現(xiàn)出色，能夠與OpenAI的o1和DeepSeek R1等頂尖推理模型相媲美。

s1的主要功能

• 出色的推理能力：s1模型專注于解決復(fù)雜問題，特別是在數(shù)學(xué)和編程領(lǐng)域表現(xiàn)卓越。它能夠應(yīng)對高難度的數(shù)學(xué)競賽題目，例如AIME（美國數(shù)學(xué)邀請賽）問題，且在此類問題上的表現(xiàn)顯著超過OpenAI的o1-preview模型，提升幅度達(dá)27%。
• 低成本訓(xùn)練：s1模型的訓(xùn)練僅依賴于1000個經(jīng)過精心挑選的問題及其推理過程，訓(xùn)練成本極其低廉，僅需不到50美元的云計算費用，且訓(xùn)練時長不超過30分鐘。
• 測試時擴展能力：s1模型采用預(yù)算技術(shù)，能夠在測試階段動態(tài)調(diào)整計算資源。通過終止模型的思考過程或添加“Wait”指令以延長思考時間，模型得以重新審視答案，糾正錯誤的推理步驟，從而提升推理效果。
• 開源與可擴展性：s1模型的代碼、數(shù)據(jù)及訓(xùn)練方法已在GitHub上開源，方便其他研究人員與開發(fā)者進(jìn)行使用和進(jìn)一步改進(jìn)。

s1的技術(shù)原理

• 數(shù)據(jù)集構(gòu)建（s1K）
  • 數(shù)據(jù)來源：s1模型的數(shù)據(jù)集s1K包含1000個高質(zhì)量的問題，這些問題從多個領(lǐng)域（如數(shù)學(xué)、物理、化學(xué)等）中篩選而來，涵蓋了多種推理任務(wù)。
  • 篩選標(biāo)準(zhǔn)：通過難度、多樣性和質(zhì)量三個標(biāo)準(zhǔn)對問題進(jìn)行篩選。難度通過模型性能和推理軌跡長度進(jìn)行衡量；多樣性則依據(jù)問題所屬的領(lǐng)域分類；質(zhì)量確保數(shù)據(jù)的格式及內(nèi)容的準(zhǔn)確性。
  • 最終選擇：最終選定的問題覆蓋50個不同的領(lǐng)域，確保數(shù)據(jù)的多樣性和代表性。
• 監(jiān)督微調(diào)（SFT）
  • 模型選擇：選擇Qwen2.5-32B-Instruct作為基礎(chǔ)模型，該模型在數(shù)學(xué)任務(wù)中表現(xiàn)優(yōu)異。
  • 訓(xùn)練過程：在s1K數(shù)據(jù)集上進(jìn)行監(jiān)督微調(diào)，訓(xùn)練時間為26分鐘，使用16個NVIDIA H100 GPU。訓(xùn)練期間，模型學(xué)習(xí)了從問題到推理軌跡和答案的映射。
• 預(yù)算（Budget Forcing）
  • 控制測試時計算量：通過在測試階段終止或延長模型的思考過程來控制計算資源，具體方法包括：
    • 終止：當(dāng)模型生成的思考令牌數(shù)量超過預(yù)設(shè)的最大限制時，終止思考過程，直接輸出答案。
    • 追加“Wait”指令：若希望模型思考更長時間，則在當(dāng)前推理軌跡后添加“Wait”指令，以促使模型繼續(xù)探索。
• 測試時擴展方法的評估
  • 評估指標(biāo)：通過控制性（Control）、擴展性（Scaling）和性能（Performance）三個指標(biāo)對不同的測試時擴展方法進(jìn)行評估。
  • 方法比較：s1模型比較了多種測試時擴展方法，包括基于令牌的控制、基于步驟的控制和基于類別的控制。最終，預(yù)算方法在控制性、擴展性和性能方面表現(xiàn)最佳。

s1的項目地址

• Github倉庫：https://github.com/simplescaling/s1
• HuggingFace模型庫：https://huggingface.co/simplescaling/s1-32B
• arXiv技術(shù)論文：https://arxiv.org/pdf/2501.19393

s1的應(yīng)用場景

• 科學(xué)研究：s1模型可以應(yīng)用于解決高難度的科學(xué)問題，例如物理、化學(xué)和生物學(xué)中的競賽級問題。
• 智能輔導(dǎo)系統(tǒng)：s1模型可作為智能輔導(dǎo)系統(tǒng)的核心，幫助學(xué)生解決復(fù)雜的數(shù)學(xué)和科學(xué)問題，并提供詳細(xì)的推理步驟和解釋。
• 自動問答系統(tǒng)：s1模型適用于自動問答系統(tǒng)，尤其是在需要進(jìn)行復(fù)雜推理和多步驟思考的場景中，比如處理用戶提出的高難度問題。
• 文本生成：s1模型可以用于生成高質(zhì)量的文本內(nèi)容，尤其是在邏輯推理和復(fù)雜結(jié)構(gòu)的文本生成任務(wù)中。
• 智能客服：s1模型可應(yīng)用于智能客服系統(tǒng)，以解決復(fù)雜的用戶問題，提供更準(zhǔn)確和高效的解答。
• 數(shù)據(jù)分析：s1模型適用于數(shù)據(jù)分析和預(yù)測任務(wù)，特別是在需要推理和邏輯分析的場景中。