AIGC動態歡迎閱讀

原標題：o1方法性能無上限！姚班馬騰宇等數學證明：推理token夠多，就能解決任意問題
關鍵字：電路,問題,模型,多項式,深度
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：量子位 | 公眾號 QbitAI克雷西 發自 凹非寺OpenAI用o1開啟推理算力Scaling Law，能走多遠？
數學證明來了：沒有上限。
斯隆獎得主馬騰宇以及Google Brain推理團隊創建者Denny Zhou聯手證明，只要思維鏈足夠長，Transformer就可以解決任何問題！
通過數學方法，他們證明了Transformer有能力模擬任意多項式大小的數字電路，論文已入選ICLR 2024。
用網友的話來說，CoT的集成縮小了Transformer與圖靈機之間的差距，為Transformer實現圖靈完備提供了可能。
這意味著，神經網絡理論上可以高效解決復雜問題。
再說得直白些的話：Compute is all you need！
CoT讓Transformer運行更高效首先需要說明的是，“可以解決任何問題”是一個通俗化的表述，嚴格來說，論文的核心結論是思維鏈（CoT）能夠顯著提升Transformer的表達能力。
作者首先通過理論分析，提出對于固定深度、多項式寬度、常數精度的Transformer模型，如果不使用CoT，其表達能力將受限于AC0問題類別。（AC0是一類

原文鏈接：o1方法性能無上限！姚班馬騰宇等數學證明：推理token夠多，就能解決任意問題

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：