補齊Transformer規劃短板又不放棄快速思考，田淵棟團隊的Dualformer融合System 1和2雙重優勢

AIGC動態歡迎閱讀

原標題：補齊Transformer規劃短板又不放棄快速思考，田淵棟團隊的Dualformer融合System 1和2雙重優勢
關鍵字：報告,軌跡,模型,慢速,基線
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda、澤南一個 token 就能控制模型快些解答或慢點思考。OpenAI ο1 模型的發布掀起了人們對 AI 推理過程的關注，甚至讓現在的 AI 行業開始放棄卷越來越大的模型，而是開始針對推理過程進行優化了。今天我們介紹的這項來自 Meta FAIR 田淵棟團隊的研究也是如此，其從人類認知理論中獲得了靈感，提出了一種新型 Transformer 架構：Dualformer。
根據人類認知理論，人類的思考受到兩個系統控制：
System 1：系統 1，速度快，基于直覺。
System 2：系統 2，速度更慢，更加深思熟慮。
近期有研究表明，如果將系統 2 過程整合進 Transformer 和大型語言模型中，就能顯著提升它們的推理能力。盡管如此，如果模型只是模仿系統 2 式的思考過程，那就需要遠遠更高的計算成本才能完成，同時響應速度也會大幅減慢。
在研究這一難題時，田淵棟團隊得到了一項驚人發現：在解決推理任務時，一種簡單的數據方案就足以實現即時動態的系統 1 和系統 2 配置。
基于此發現，他們提出了 Dualformer。這是一種可以輕松配置的 Transfo

原文鏈接：補齊Transformer規劃短板又不放棄快速思考，田淵棟團隊的Dualformer融合System 1和2雙重優勢

聯系作者

文章來源：機器之心
作者微信：
作者簡介：