MIT對大模型數理原理的強有力證明

AIGC動態歡迎閱讀

原標題：MIT對大模型數理原理的強有力證明
關鍵字：報告,知識產權,人工智能,模型,政策
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：清熙
筆者去年整理的大模型數理原理，迎來了最強有力的實踐證明！
原理回顧
筆者在“GPT4技術原理”系列文章梳理出來大模型數理認知框架如下圖：海量的文本或者多模態語料組成了大模型需要認知的外部世界的基本信息；嵌入構建高維概率化的語言空間，用來建模語言文字圖像以及音視頻，并對連續變量做離散化；
預訓練以重整化群流的方式進行，在不同尺度上提煉語料數據中的信息概率分布；重整化群流的每一步流動（自回歸預測逼近訓練語料概率分布），都沿著最優輸運的成本最低方向進行；
重整化群在不動點附近因新語料帶來微擾而發生對稱性破缺，滑入不同的相空間；不同的相空間，對應某種意義上的范疇，可形象化為信息的結晶；這是大模型從語料中學到的內部世界模型；
在外部感官輸入下（被提示置于某種上下文），大模型內部將限定在相應的高維語言概率空間的子空間內推理；推理是在子空間中采樣，類比時跨范疇采樣；
采樣不斷進行，基于內部概率化了的世界模型（預訓練獲得的先驗），針對感官輸入（提示），做變分推斷，最小化能，獲取最佳采樣分布q*，作為對導致感官輸入的外部后驗的預測。
可總結為：1、重整化從海量語料中提取出范疇，2、持續重

原文鏈接：MIT對大模型數理原理的強有力證明