顛覆常規：DeepMind揭示LLM如何通過逆向思維提升推理能力

谷歌 DeepMind 洞見逆向的力量

原標題：人會逆向思維，LLM也可以？DeepMind研究表明還能提升推理能力
文章來源：機器之心
內容字數：4805字

逆向思維在大型語言模型中的應用

根據北卡羅來納大學教堂山分校與谷歌的最新研究，逆向思維不僅可以應用于大型語言模型（LLM），而且能夠顯著提升其正向推理能力。這一發現由論文一作 Justin Chih-Yao Chen 及其團隊提出，研究結果表明，結合正向和逆向思維可有效驗證答案的正確性并發現潛在錯誤。

正向與逆向思維的定義

正向思維是指從問題出發，逐步推導出答案；而逆向思維則是從一個預測的答案開始，反推回原始問題。通過這種方式，使用者可以檢查解答的準確性。例如，在簡單的蘋果數量問題中，正向推理得出答案后，逆向推理驗證該答案是否一致。

RevThink框架的提出

該研究團隊提出了一個名為 RevThink 的框架，旨在將逆向思維“灌輸”給語言模型。RevThink 主要包含兩個階段：數據增強和新的學習目標。通過增強推理數據集，該團隊使用更強大的教師模型生成新的正向和逆向問題，并通過思維鏈驗證其有效性。

實驗與評估結果

團隊使用 Gemini-1.5-Pro-001 作為教師模型，Mistral-7B-Instruct-v0.3 和 Gemma-7B-Instruct 作為學生模型，經過訓練驗證了 RevThink 的有效性。結果顯示，RevThink 在多個任務上超越了基線，尤其在常識推理、表格推理和邏輯推理等領域表現優異。相較于零樣本性能，RevThink 使 Mistral 和 Gemma 的表現分別提高了 12.68% 和 14.37%。

RevThink的優勢

RevThink 的優勢包括：樣本效率高，逆向問題生成有助于性能提升，且能有效泛化至新數據集。該框架不僅提高了模型的推理能力，還在各種推理任務上表現出了穩定的提升，為未來的 LLM 研究提供了新的思路。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺