阿里團隊開源Marco-o1推理模型~

原標題：阿里Marco-o1推理大模型技術報告解讀
文章來源：智猩猩GenAI
內容字數：9586字

2024中國生成式AI大會（上海站）預告

2024中國生成式AI大會將于12月5日至6日在上海舉辦，屆時將有40多位嘉賓參與演講，包括北大（臨港）大模型對齊中心執行主任徐驊、騰訊優圖實驗室天衍研究中心負責人吳賢等。大會將設有“主會場峰會”、“分會場研討會”及“展覽區”，涵蓋大模型、AI基礎設施及生成式AI等多個主題。

Marco-o1模型的介紹

在OpenAI推出的o1模型基礎上，阿里研究團隊發布了Marco-o1推理模型，旨在增強大型語言模型（LLM）的推理能力。Marco-o1采用思維鏈（CoT）微調、蒙特卡洛樹搜索（MCTS）及反思機制，致力于解決復雜的現實問題。

主要特點

1. **CoT數據微調**：Marco-o1通過多種數據集進行監督微調，顯著提升了推理能力。

2. **MCTS擴展解空間**：結合LLM與MCTS，擴大了解決方案空間，提高模型在復雜問題上的表現。

3. **推理行動策略**：實施細粒度的推理策略及反思機制，增強了模型解決復雜問題的能力。

4. **機器翻譯應用**：首次將大型推理模型應用于機器翻譯，探索了翻譯領域的推理時間縮放規律。

MCTS與CoT的結合

Marco-o1使用蒙特卡洛樹搜索（MCTS）算法，通過節點代表推理狀態，LLM輸出作為行動，擴展搜索路徑。利用置信度得分指導MCTS，進一步提高了推理質量。

實驗結果

在MGSM數據集中，經過微調的Marco-o1-CoT模型在多語言小學數學問題的解決上表現優于基線模型，但在中文數據集上效果有所下降。機器翻譯任務中，Marco-o1展現了其對上下文的理解能力，提供了更準確的翻譯結果。

總結

Marco-o1模型的推出代表了生成式AI領域的新進展，通過多項技術創新，提升了推理能力和應用廣度。此次大會將為與會者提供一個深入了解生成式AI前沿技術的機會，歡迎大家踴躍報名參加。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下矩陣賬號之一，聚焦大模型開啟的通用人工智能浪潮。