s1

s1 – 斯坦福和華盛頓大學(xué)推出低成本、高性能的AI推理模型

s1是什么

s1是由斯坦福大學(xué)和華盛頓大學(xué)的研究者團(tuán)隊(duì)共同研發(fā)的一款低成本、高效能的AI推理模型。通過(guò)“蒸餾”技術(shù)，s1從谷歌的Gemini 2.0 Flash Thinking Experimental模型中提取了其推理能力。研究團(tuán)隊(duì)僅利用1000個(gè)精心設(shè)計(jì)的問(wèn)題及其答案進(jìn)行模型訓(xùn)練，訓(xùn)練成本低于50美元，且訓(xùn)練時(shí)間不超過(guò)30分鐘。s1在數(shù)學(xué)和編程能力測(cè)試中表現(xiàn)出色，能夠與OpenAI的o1和DeepSeek R1等頂尖推理模型相媲美。

s1的主要功能

• 出色的推理能力：s1模型專(zhuān)注于解決復(fù)雜問(wèn)題，特別是在數(shù)學(xué)和編程領(lǐng)域表現(xiàn)卓越。它能夠應(yīng)對(duì)高難度的數(shù)學(xué)競(jìng)賽題目，例如AIME（美國(guó)數(shù)學(xué)邀請(qǐng)賽）問(wèn)題，且在此類(lèi)問(wèn)題上的表現(xiàn)顯著超過(guò)OpenAI的o1-preview模型，提升幅度達(dá)27%。
• 低成本訓(xùn)練：s1模型的訓(xùn)練僅依賴于1000個(gè)經(jīng)過(guò)精心挑選的問(wèn)題及其推理過(guò)程，訓(xùn)練成本極其低廉，僅需不到50美元的云計(jì)算費(fèi)用，且訓(xùn)練時(shí)長(zhǎng)不超過(guò)30分鐘。
• 測(cè)試時(shí)擴(kuò)展能力：s1模型采用預(yù)算技術(shù)，能夠在測(cè)試階段動(dòng)態(tài)調(diào)整計(jì)算資源。通過(guò)終止模型的思考過(guò)程或添加“Wait”指令以延長(zhǎng)思考時(shí)間，模型得以重新審視答案，糾正錯(cuò)誤的推理步驟，從而提升推理效果。
• 開(kāi)源與可擴(kuò)展性：s1模型的代碼、數(shù)據(jù)及訓(xùn)練方法已在GitHub上開(kāi)源，方便其他研究人員與開(kāi)發(fā)者進(jìn)行使用和進(jìn)一步改進(jìn)。

s1的技術(shù)原理

• 數(shù)據(jù)集構(gòu)建（s1K）
  • 數(shù)據(jù)來(lái)源：s1模型的數(shù)據(jù)集s1K包含1000個(gè)高質(zhì)量的問(wèn)題，這些問(wèn)題從多個(gè)領(lǐng)域（如數(shù)學(xué)、物理、化學(xué)等）中篩選而來(lái)，涵蓋了多種推理任務(wù)。
  • 篩選標(biāo)準(zhǔn)：通過(guò)難度、多樣性和質(zhì)量三個(gè)標(biāo)準(zhǔn)對(duì)問(wèn)題進(jìn)行篩選。難度通過(guò)模型性能和推理軌跡長(zhǎng)度進(jìn)行衡量；多樣性則依據(jù)問(wèn)題所屬的領(lǐng)域分類(lèi)；質(zhì)量確保數(shù)據(jù)的格式及內(nèi)容的準(zhǔn)確性。
  • 最終選擇：最終選定的問(wèn)題覆蓋50個(gè)不同的領(lǐng)域，確保數(shù)據(jù)的多樣性和代表性。
• 監(jiān)督微調(diào)（SFT）
  • 模型選擇：選擇Qwen2.5-32B-Instruct作為基礎(chǔ)模型，該模型在數(shù)學(xué)任務(wù)中表現(xiàn)優(yōu)異。
  • 訓(xùn)練過(guò)程：在s1K數(shù)據(jù)集上進(jìn)行監(jiān)督微調(diào)，訓(xùn)練時(shí)間為26分鐘，使用16個(gè)NVIDIA H100 GPU。訓(xùn)練期間，模型學(xué)習(xí)了從問(wèn)題到推理軌跡和答案的映射。
• 預(yù)算（Budget Forcing）
  • 控制測(cè)試時(shí)計(jì)算量：通過(guò)在測(cè)試階段終止或延長(zhǎng)模型的思考過(guò)程來(lái)控制計(jì)算資源，具體方法包括：
    • 終止：當(dāng)模型生成的思考令牌數(shù)量超過(guò)預(yù)設(shè)的最大限制時(shí)，終止思考過(guò)程，直接輸出答案。
    • 追加“Wait”指令：若希望模型思考更長(zhǎng)時(shí)間，則在當(dāng)前推理軌跡后添加“Wait”指令，以促使模型繼續(xù)探索。
• 測(cè)試時(shí)擴(kuò)展方法的評(píng)估
  • 評(píng)估指標(biāo)：通過(guò)控制性（Control）、擴(kuò)展性（Scaling）和性能（Performance）三個(gè)指標(biāo)對(duì)不同的測(cè)試時(shí)擴(kuò)展方法進(jìn)行評(píng)估。
  • 方法比較：s1模型比較了多種測(cè)試時(shí)擴(kuò)展方法，包括基于令牌的控制、基于步驟的控制和基于類(lèi)別的控制。最終，預(yù)算方法在控制性、擴(kuò)展性和性能方面表現(xiàn)最佳。

s1的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/simplescaling/s1
• HuggingFace模型庫(kù)：https://huggingface.co/simplescaling/s1-32B
• arXiv技術(shù)論文：https://arxiv.org/pdf/2501.19393

s1的應(yīng)用場(chǎng)景

• 科學(xué)研究：s1模型可以應(yīng)用于解決高難度的科學(xué)問(wèn)題，例如物理、化學(xué)和生物學(xué)中的競(jìng)賽級(jí)問(wèn)題。
• 智能輔導(dǎo)系統(tǒng)：s1模型可作為智能輔導(dǎo)系統(tǒng)的核心，幫助學(xué)生解決復(fù)雜的數(shù)學(xué)和科學(xué)問(wèn)題，并提供詳細(xì)的推理步驟和解釋。
• 自動(dòng)問(wèn)答系統(tǒng)：s1模型適用于自動(dòng)問(wèn)答系統(tǒng)，尤其是在需要進(jìn)行復(fù)雜推理和多步驟思考的場(chǎng)景中，比如處理用戶提出的高難度問(wèn)題。
• 文本生成：s1模型可以用于生成高質(zhì)量的文本內(nèi)容，尤其是在邏輯推理和復(fù)雜結(jié)構(gòu)的文本生成任務(wù)中。
• 智能客服：s1模型可應(yīng)用于智能客服系統(tǒng)，以解決復(fù)雜的用戶問(wèn)題，提供更準(zhǔn)確和高效的解答。
• 數(shù)據(jù)分析：s1模型適用于數(shù)據(jù)分析和預(yù)測(cè)任務(wù)，特別是在需要推理和邏輯分析的場(chǎng)景中。