從 Kimi K0-Math 到 DeepSeek R1 Lite：探索 OpenAI O1 模型的奇幻旅程

熱點討論：OpenAI O1 類模型的復現~

原標題：探索 OpenAI O1 模型復現：從 Kimi K0-Math 到 DeepSeek R1 Lite
文章來源：智猩猩GenAI
內容字數：2918字

2024中國生成式AI大會（上海站）預告

根據大會預告，2024中國生成式AI大會（上海站）將于12月5日至6日舉行。此次大會由智猩猩共同主辦，預計將吸引30多位行業嘉賓參與演講，包括北大（臨港）大模型對齊中心執行主任徐驊、騰訊優圖實驗室天衍研究中心負責人吳賢等。大會歡迎各界人士報名參加，具體信息可通過知乎賬號初七123334查詢。

O1類模型復現的技術討論

近期，隨著Kimi K0-Math和DeepSeek R1 Lite模型的發布，O1類模型的復現成為技術討論的焦點。筆者發起的開源項目“Awesome-LLM-Strawberry”專注于收集O1模型復現方案及相關論文、博客與項目，目前已獲得5000多顆星標。該項目旨在為研究者提供一個資源庫，促進O1模型的進一步探討與復現。

O1模型的訓練與推理階段

在O1模型的訓練階段，潛在的復現策略可分為三個階段：

1. 階段0：Continue pretrain – 通過大量的Cot、代碼和數學類數據提升基礎推理能力。
2. 階段1：SFT訓練 – 學習超長Chain-of-Thought（CoT）生成和反思等指令格式，為后續訓練打下基礎。
3. 階段2：基于強化學習的CoT推理/反思能力強化 – 包括大規模RLHF與高質量數學代碼類數據結合的方案。

在推理階段，O1類模型可能采取的實現方式包括：

1. 方案1：超長CoT + 加反思的思維鏈 – 實現簡單，適合流式推理，如DeepSeek R1 Lite模型展現的推理能力。
2. 方案2：MCTS – 雖然推理效果上限可能更高，但實現復雜，計算效率較低。

總結與展望

總體來看，O1模型復現的探索仍在持續中，Kimi K0-Math與DeepSeek R1 Lite的出現為社區提供了寶貴的經驗與參考。無論是在訓練階段的創新數據處理方法，還是推理階段的多樣化策略，每種方案都展現了獨特的優勢與挑戰。期待未來能有更多優秀的開源模型推動這一領域的創新與發展。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下矩陣賬號之一，聚焦大模型開啟的通用人工智能浪潮。