AIGC動態歡迎閱讀
原標題:Meta版快慢機來了!田淵棟團隊整合快慢思考,能走迷宮推箱子
關鍵字:模型,任務,快慢,迷宮,子句
文章來源:量子位
內容字數:0字
內容摘要:
明敏 發自 凹非寺量子位 | 公眾號 QbitAIMeta版“快慢機”來了。
田淵棟團隊帶來新作Dualformer,把快慢思考無縫結合,性能提升還成本更低。
能解決迷宮、推箱子等復雜問題。
通過讓模型在推理軌跡和最終答案上進行訓練,再基于特定策略丟掉部分軌跡,Dualformer模型可以在模仿慢思考的同時,像快思考一樣走捷徑。
由此能形成更簡潔的思維鏈(CoT)。
從結果來看,在慢思考模式下,Dualformer的最優解率達到97.6%,推理步驟減少45.5%。
自動切換快慢思考模式下,最優率也達到96.6%,且推理步驟減少59.9%。
搞定o1玩不來的迷宮游戲o1帶火了系統2(慢思考),能讓大模型推理能力大幅提升。
但是隨之而來的計算成本更高。
Dualformer能很好結合快慢思考,從而緩解這一問題。
它建立在Searchformer這項工作的基礎上。Searchformer是一個可以解決復雜推理任務的模型,在A*搜索算法生成的路徑上訓練而來,在路徑規劃任務(如迷宮、推箱子游戲)上表現良好,可以以更高效率找到最優解。
研究發現,人類會在思考過程中傾向于找捷徑。為了更進一步模擬人類
原文鏈接:Meta版快慢機來了!田淵棟團隊整合快慢思考,能走迷宮推箱子
聯系作者
文章來源:量子位
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...