從o1-mini到DeepSeek-R1，萬字長文帶你讀懂推理模型的歷史與技術

理解推理模型以及它們與標準 LLM 的關系。

原標題：從o1-mini到DeepSeek-R1，萬字長文帶你讀懂推理模型的歷史與技術
文章來源：機器之心
內容字數：34031字

推理模型時代：從o1-mini到DeepSeek-R1及未來

本文概述了近年來推理模型的快速發展，從OpenAI的o1-mini到DeepSeek-R1，以及該領域出現的關鍵趨勢和未來挑戰。

1. 早期推理模型：o1和o1-mini

OpenAI的o1系列模型（包括o1-preview和o1-mini）標志著推理模型時代的開始。它們的主要特點是通過生成“長思維鏈”（有時稱為推理軌跡）來解決問題，這與標準LLM直接生成答案的方式截然不同。長思維鏈允許模型分解問題、檢測錯誤并探索替代方案，顯著提升了LLM在數學和編程等可驗證任務上的推理能力。o1-mini雖然比o1更小、更快、成本更低，但在編程任務上表現依然出色。

2. 當前最佳推理模型：o3和o3-mini

OpenAI的o3模型在多個基準測試中取得了令人矚目的成績，甚至在ARC-AGI基準測試中超過了人類水平。雖然完整的o3模型尚未公開發布，但其更小、更高效的版本o3-mini已經問世，并展現了與o1相當甚至更優的性能，同時具備更強的世界知識和效率。

3. 其他模型提供商

除了OpenAI，谷歌的Gemini 2.0 Flash Thinking和xAI的Grok-3也加入了推理模型的競爭，展現了該領域蓬勃發展的態勢。Grok-3在某些基準測試中甚至超過了o3-mini。

4. 推理模型的基準

傳統的基準測試（如GSM8K）已不足以評估最新的推理模型，新的基準如AIME 2024和GPQA被提出，這些基準包含更復雜、更具挑戰性的問題，涵蓋了數學、科學等多個領域。

5. 推理模型的基礎

推理模型的訓練通常涉及兩個關鍵組件：基于可驗證獎勵的強化學習和推理時間擴展（通過生成更長的思維鏈或多個輸出）。可驗證獎勵可以來自精確的字符串匹配（如數學問題）或測試用例（如編程問題），而強化學習則根據這些獎勵來優化模型的推理策略。

6. 開放式推理模型：DeepSeek-R1

DeepSeek-R1是一個具有里程碑意義的開放式推理模型，它提供了完整的訓練細節，揭開了構建強大推理模型的神秘面紗。DeepSeek-R1及其前身DeepSeek-R1-Zero都基于強大的基礎模型DeepSeek-v3，并通過強化學習進行訓練。DeepSeek-R1-Zero甚至完全放棄了監督微調（SFT），展現了推理能力可以從大規模強化學習中自然涌現的可能性。DeepSeek-R1則結合了SFT和強化學習，在保持強大推理能力的同時，提升了模型的對齊程度和可讀性。

7. SFT的必要性

DeepSeek-R1的實驗表明，雖然SFT并非完全必要，但它可以為強化學習提供更好的起點，提高訓練效率和模型質量。對于推理模型，收集SFT數據比標準LLM更困難，因此需要更有效的數據收集和利用策略。

8. 蒸餾模型

知識蒸餾被證明是創建更高效的推理模型的有效方法。通過將DeepSeek-R1的能力蒸餾到更小的模型中，可以獲得性能與R1相當但成本更低的推理模型。

9. 未來展望

推理模型領域正處于快速發展階段，新的挑戰和問題也隨之而來，例如如何實現長思維鏈的安全訓練、如何平衡通用任務能力和推理能力，以及如何更高效地托管推理模型等。推理模型的出現將重新定義LLM的研究范式，推動人工智能邁向新的高度。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺