選擇/雜交/突變，DeepMind將自然選擇引入LLM思維，實現(xiàn)心智進化

尤其擅長多階段問題。

原標題：選擇/雜交/突變，DeepMind將自然選擇引入LLM思維，實現(xiàn)心智進化
文章來源：機器之心
內(nèi)容字數(shù)：11408字

進化式更深度LLM思維：Mind Evolution助力LLM推理能力提升

近日，一篇題為《Evolving Deeper LLM Thinking》的論文登上Hugging Face每日論文榜首，該論文提出了一種名為Mind Evolution的進化搜索策略，顯著提升了大型語言模型(LLM)在自然語言規(guī)劃任務中的推理能力。

1. Mind Evolution的核心思想

Mind Evolution利用基于語言的遺傳算法，結(jié)合LLM和定制提示集，高效搜索自然語言規(guī)劃任務的解決方案。它模擬自然選擇過程，通過“選擇”、“雜交”、“突變”和“島嶼模型”等機制，不斷迭代優(yōu)化候選解，最終找到最優(yōu)解或達到預設迭代次數(shù)。

2. 基于語言的遺傳算法

Mind Evolution的核心是基于語言的遺傳算法。候選解以自然語言表示，LLM負責生成、重組和突變這些解。島嶼模型則通過多個演化的子種群和周期性的遷移與重置，維持種群多樣性，避免陷入局部最優(yōu)。

3. Mind Evolution的具體實現(xiàn)

Mind Evolution包含以下關鍵步驟：
(1) **種群初始化**: 通過LLM生成初始解，并通過“通過批評性對話進行優(yōu)化(RCC)”進一步改進。
(2) **適應度評估**: 使用自定義函數(shù)評估解的質(zhì)量，并提供反饋。
(3) **選擇**: 使用玻爾茲曼錦標賽選擇方法，選擇適應度高的解進行繁殖。
(4) **雜交與突變**: 利用LLM和RCC過程，將選擇的父代重組生成新的子代。
(5) **島嶼間遷移**: 周期性地將優(yōu)秀解從一個島嶼遷移到另一個島嶼。
(6) **島嶼重置**: 定期用全局種群中的優(yōu)秀解替換表現(xiàn)差的島嶼種群。

4. 實驗結(jié)果與分析

Mind Evolution在三個自然語言規(guī)劃基準(TravelPlanner,Trip Planning,Meeting Planning)上均顯著優(yōu)于Best-of-N和Sequential Revision等基線方法，成功率大幅提升。尤其是在TravelPlanner任務中，Mind Evolution幾乎達到了完美的成功率。此外，論文還提出了一個更具挑戰(zhàn)性的新任務StegPoet，Mind Evolution同樣表現(xiàn)出色。

5. Mind Evolution的優(yōu)勢

實驗結(jié)果表明，Mind Evolution在相同推理成本下，顯著優(yōu)于其他推理策略。其優(yōu)勢在于：
(1) 高效的搜索能力，能夠在較少的迭代次數(shù)內(nèi)找到高質(zhì)量的解。
(2) 利用LLM強大的語言理解和生成能力，實現(xiàn)高效的重組和優(yōu)化。
(3) 島嶼模型有效地維持種群多樣性，避免局部最優(yōu)。

總而言之，Mind Evolution為提升LLM的推理能力提供了一種新穎有效的策略，為未來LLM發(fā)展方向提供了新的思路。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺