Coconut：一種來探索 LLM 在潛在空間中的推理新范式。

原標題：田淵棟團隊論文火了！連續思維鏈優于CoT，打開LLM推理新范式
文章來源：智猩猩GenAI
內容字數：9609字

文章要點總結

隨著大語言模型（LLM）和鏈式思維（CoT）的發展，語言逐漸成為機器推理的主要媒介。然而，研究者發現，語言空間并非總是最佳的推理方式。Meta和加州大學圣地亞哥分校的研究者提出了一種新方法——Coconut（連續思維鏈），旨在探索LLM在潛在空間中的推理能力。本文將對Coconut方法及其研究結果進行總結。

1. Coconut方法概述

Coconut通過簡單的修改解放了推理過程，使其不再局限于語言空間。該方法直接將最后的隱藏狀態作為下一個輸入嵌入，從而實現了端到端的優化。Coconut采用多階段訓練策略，利用語言推理鏈來指導訓練過程，提升推理效率。

2. 實驗研究

研究團隊通過三個數據集驗證了Coconut的有效性，主要涉及數學推理（GSM8k）和邏輯推理（ProntoQA和ProsQA）。實驗結果表明，Coconut在推理準確性和效率上顯著優于傳統的CoT方法，尤其在需要規劃的任務中表現突出。

3. 連續思維的優勢

研究發現，連續思維能夠同時編碼多個潛在解，有效提升了模型在復雜推理任務中的表現。通過分析不同推理方式，研究團隊證實了潛在空間推理在規劃密集型任務中的優勢，尤其是在需要前瞻性評估時，表現得更為出色。

4. 潛在空間的規劃能力

Coconut允許模型在推理過程中靈活切換潛在模式與語言模式，研究表明，延遲決策和持續探索使得模型能更好地區分正確與錯誤的推理路徑。這一發現突出了潛在空間在規劃任務中的重要性。

5. 總結與展望

Coconut方法的研究表明，利用潛在空間進行推理可以有效提升LLM的推理能力，尤其在復雜任務中。未來，如何進一步優化該方法及其應用將是研究的重點。

更多研究細節，請參閱原文：Training Large Language Models to Reason in a Continuous Latent Space

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，深入關注大模型與AI智能體，及時搜羅生成式AI技術產品。