o1推理框架最新成果：斯坦福&伯克利提出元鏈?zhǔn)剿季S，升級模型推理能力

元鏈?zhǔn)剿季S可以發(fā)現(xiàn)更多新的研究思路和方法

原標(biāo)題：o1推理框架最新成果：斯坦福&伯克利提出元鏈?zhǔn)剿季S，升級模型推理能力
文章來源：量子位
內(nèi)容字?jǐn)?shù)：6205字

斯坦福伯克利揭秘o1模型推理機(jī)制：元鏈?zhǔn)剿季S（Meta-CoT）

近日，斯坦福大學(xué)和伯克利大學(xué)的研究人員在長達(dá)100頁的論文中，闡述了OpenAI o1模型背后的推理機(jī)制——元鏈?zhǔn)剿季S（Meta-CoT）。該框架能夠顯著提升大語言模型在復(fù)雜推理任務(wù)中的表現(xiàn)，被認(rèn)為是通往超級智能的潛在路徑。

1. 為什么傳統(tǒng)CoT失效？

傳統(tǒng)CoT模型在高級推理任務(wù)中常?！翱ぁ保饕且驗槠漕A(yù)訓(xùn)練和指令調(diào)整數(shù)據(jù)缺乏真實數(shù)據(jù)生成過程的細(xì)節(jié)。例如，數(shù)學(xué)問題解答中，雖然包含正確答案，但很少解釋錯誤推理方法的失效原因。因此，模型在遇到復(fù)雜問題時難以調(diào)整思考方向。

o1模型在高級數(shù)學(xué)基準(zhǔn)測試中表現(xiàn)突出，其生成的tokens數(shù)量在難題上顯著增加，這表明其CoT覆蓋范圍更廣，更接近真實數(shù)據(jù)生成過程。

2. Meta-CoT的核心思想

Meta-CoT的核心在于將推理過程視為一個聯(lián)合概率分布，而非簡單的線性鏈。它模擬了人類解決復(fù)雜問題時，通過探索和歸納推理的過程，而非單一路徑的線性求解。以2011年國際數(shù)學(xué)奧林匹克競賽的“風(fēng)車問題”為例，其解答并非線性，需要大量的幾何探索和歸納推理才能找到答案。Meta-CoT正是通過模擬這種非線性探索過程來提升模型的推理能力。

3. Meta-CoT的內(nèi)部機(jī)制

Meta-CoT包含以下關(guān)鍵機(jī)制：

1. 內(nèi)部化搜索過程：Meta-CoT將推理過程建模為馬爾可夫決策過程（MDP），并引入過程獎勵模型（PRM）來評估中間步驟。模型能夠高效地搜索解空間，及時放棄無效方向，并探索其他可能。
2. 合成元鏈?zhǔn)剿季S：傳統(tǒng)強(qiáng)化學(xué)習(xí)在面對新領(lǐng)域問題時效果不佳。Meta-CoT將推理過程視為部分可觀測馬爾可夫決策過程（POMDP），模型能夠根據(jù)不同情況調(diào)整策略，并通過過程監(jiān)督得到及時反饋。
3. 探索不同推理路徑：Meta-CoT鼓勵模型主動探索不同的推理路徑，通過算法如蒙特卡羅樹搜索（MCTS）和A*搜索生成合成訓(xùn)練數(shù)據(jù)，提升模型解決復(fù)雜問題的能力。

4. 實驗結(jié)果與結(jié)論

實驗結(jié)果表明，使用Meta-CoT框架的LLM在多個數(shù)學(xué)問題數(shù)據(jù)集（HARP、NuminaMath、Omni-MATH和OpenMathInstruct-2）上的表現(xiàn)顯著提升，例如在HARP基準(zhǔn)測試中提高了約25%。 實驗還驗證了上下文探索、回溯等機(jī)制的有效性。

5. 未來展望

研究團(tuán)隊計劃進(jìn)一步驗證Meta-CoT的效率，開發(fā)更有效的過程監(jiān)督和驗證技術(shù)，并構(gòu)建“大數(shù)學(xué)（Big Math）”項目，聚合超過50萬個高質(zhì)量數(shù)學(xué)問題，推動該領(lǐng)域的發(fā)展。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破