思維鏈？思維樹？華為諾亞：現在到了思維森林時刻！

思維森林為 LLM 的推理能力提升提供了一條新的路徑。

原標題：思維鏈？思維樹？華為諾亞：現在到了思維森林時刻！
文章來源：機器之心
內容字數：4710字

華為諾亞方舟實驗室提出新型大模型高階推理框架：思維森林 (FoT)

近年來，大語言模型(LLM)在諸多語言任務中表現出色，但在復雜推理方面卻常常力不從心。OpenAI 的 o1 和 o3 模型的發布，預示著大模型高階推理能力的爆發式增強，同時也凸顯了探索新型Scaling Law的必要性。華為諾亞方舟實驗室近期提出的“思維森林”（Forest-of-Thought，FoT）框架，為解決LLM推理困境提供了一種新思路。

1. LLM推理困境

LLM在解決復雜推理問題時，容易忽略關鍵細節或在中間步驟出錯，最終導致答案錯誤。此外，LLM通常缺乏重新評估能力，無法全面應對復雜問題，這與人類反復思考、驗證答案的思維方式形成鮮明對比。

2. 思維森林(FoT)方法介紹

FoT框架通過整合多個推理樹，利用集體決策的優勢來解決復雜邏輯推理任務。其核心思想在于：

1. 稀疏激活策略： FoT不會計算所有推理樹和節點，而是選擇最相關的進行計算，提高效率和準確性。
2. 動態自校正策略： FoT評估每個推理步驟的正確性和有效性，并根據預設閾值觸發校正機制。該機制從過去的錯誤中學習，實時糾正錯誤，避免重復犯錯。
3. 引導決策策略： 每個推理樹生成一個或多個答案，子樹進行投票，選出獲得最多支持的答案。若無，則由“數學專家”評估并選擇最終答案。

這些策略共同作用，使得FoT能夠有效提升LLM的高階推理能力。

3. 實驗結果

研究人員在24點游戲、GSM8K和MATH數據集上對FoT進行了評估，結果表明：

1. 24點游戲： 增加推理樹數量能顯著提升準確率，多樹策略優于單樹增加復雜度策略。
2. GSM8K： 不同基模型(Llama3-8B,Mistral-7B,GLM-4-9B)下，樹數量越多，準確率提升越顯著。
3. MATH： FoT在不同難度級別的問題上均展現出一致的性能提升，優于MCTSr方法。

4. FoT的廣泛應用前景

FoT框架在數學、邏輯、金融、醫療和法律等需要復雜推理的領域具有廣泛的應用前景，例如風險評估、投資決策、疾病診斷、法律推理等。它可以與現有LLM結合，提升其在各個領域的應用效果。

5. 結語

思維森林(FoT)框架為LLM推理能力提升提供了一條新路徑。它通過多路徑探索和動態激活推理路徑，有效解決了現有LLM推理范式中的關鍵局限，推動大模型向更智能、更高效的方向發展。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺