CoT神話破滅，并非LLM標配！三大學府機構聯手證實，CoT僅在數學符號推理有用

AIGC動態歡迎閱讀

原標題：CoT神話破滅，并非LLM標配！三大學府機構聯手證實，CoT僅在數學符號推理有用
關鍵字：性能,任務,符號,數據,模型
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：桃子
【新智元導讀】CoT只對數學、符號推理才起作用，其他的任務幾乎沒什么卵用！這是來自UT-Austin、霍普金斯、普林斯頓三大機構研究人員聯手，分析了100+篇論文14類任務得出的結論。看來，CoT并非是所有大模型標配。谷歌CoT開山之作，再次成為OpenAI o1模型的利器。
LLM復雜推理能力的實現，就離不開一步一步思考，但是這種「思考」究竟對于什么類型的任務有幫助呢？
來自UT-Austin、霍普金斯、普林斯頓的研究人員，使用CoT對100多篇論文，進行了定量元分析。
論文地址：https://arxiv.org/abs/2409.12183
同時，他們還對14個模型的20個數據集，進行了評估。
結果顯示，CoT在涉及數學、邏輯任務中，能夠增強LLM性能，但在其他類型任務上，收益較小。
在MMLU中，除非問題或模型回答中包含“=”（表示符號運算和推理），否則直接生成答案，而不使用CoT，能達到與使用CoT相同的準確率。
基于這一發現，作者通過分離「規劃」和「執行」，并工具增強的LLM進行比較，來分析CoT在這些任務中的行為。
結果證實，CoT的大部分收益，來

原文鏈接：CoT神話破滅，并非LLM標配！三大學府機構聯手證實，CoT僅在數學符號推理有用