與其讓模型變得更大,不如讓它們更聰明。
原標題:趕緊放棄強化學習?!Meta 首席 AI 科學家楊立昆喊話:當前推理方式會“作弊”,卷大模型沒有意義!
文章來源:AI前線
內容字數:21113字
Yann LeCun 論 AI 的未來:超越大語言模型的暴力計算
Meta 首席 AI 科學家 Yann LeCun 近日在 AI Action Summit 2025 上發表演講,指出當前基于深度學習的大語言模型(LLM)存在根本性缺陷,并提出了構建真正“會思考”的 AI 模型的新方向。
1. 現有 AI 的局限性:莫拉維克悖論與“幻覺”
LeCun 認為,現有 AI 系統,例如 GPT 模型,通過自回歸方式逐個生成 token,依賴預測器重復操作,導致其具有發散性,容易出現“幻覺”。 這種基于預測下一個詞元的模式,即使在擁有海量數據的情況下,也無法重現人類或動物的常識和對物理世界的理解。他用“莫拉維克悖論”解釋了這一現象:AI 在復雜任務(如語言生成)上表現出色,但在簡單任務(如收拾餐桌)上卻力不從心。 這表明,單純依靠文本數據無法達到人類智能水平,高級 AI 需要對世界有更深層次的理解。
2. 高級機器智能(AMI)的要素
LeCun 提出“高級機器智能”(AMI)的概念,而非“通用人工智能”(AGI)。AMI 應具備以下特征:從感官輸入中學習、具有持久記憶、能夠規劃和推理、可控且安全。 他強調,安全性的實現不應依賴于微調,而應在系統設計中固化。
3. 基于世界模型的推理:從預測到規劃
LeCun 認為,改變 AI 的推理方式是關鍵。他提出了基于“能量函數”的推理模式,這與經典 AI 和概率圖模型的思路相近,更接近人類的“系統二”思維(理智思考)。 這種模式下,系統通過尋找最小化能量函數的輸出值來進行推理,復雜問題會花費更多時間,簡單問題則更快。 這與當前 LLM 的“系統一”思維(直覺反應)截然不同。
他進一步介紹了“世界模型”的概念,即系統在抽象表示空間中,根據當前狀態和動作序列預測未來狀態。 這使得 AI 能夠進行層次化規劃,從宏觀目標分解到具體的動作,類似于人類的思考和行動過程。 目前,AI 系統缺乏這種自主學習層次化表示和規劃的能力。
4. JEPA 架構:超越生成模型
LeCun 批判了生成式模型在視頻生成上的局限性,并提出了“聯合嵌入預測架構”(JEPA)。 JEPA 不直接預測像素,而是預測內容的抽象表示,從而避免了對無法預測因素的處理,簡化了預測過程。 他特別強調了基于動作條件的 JEPA 變體,它可以作為世界模型,用于規劃和決策。
5. 訓練 JEPA:放棄對比方法,轉向正則化
LeCun 指出,訓練 JEPA 需要新的方法,他建議放棄對比方法,轉向正則化方法,以最小化低能量空間的體積。 他介紹了幾種正則化方法,包括基于信息內容的正則化和蒸餾方法,并分析了這些方法的優缺點和適用場景。
6. V-JEPA 和基于 Dino 的世界模型:實際應用
LeCun 展示了 V-JEPA 在視頻處理中的應用,以及基于 Dino 特征的世界模型在機器人規劃中的應用。 這些例子展示了 JEPA 架構在學習常識、進行規劃和控制方面的潛力。
7. AI 的未來:開源與協作
LeCun 呼吁放棄對生成模型、概率模型、對比方法和強化學習的過度依賴,轉向基于能量函數和世界模型的新的 AI 架構。 他強調開源 AI 平臺的重要性,認為只有通過全球范圍內的協作,才能構建真正普惠且安全的 AI 系統。
聯系作者
文章來源:AI前線
作者微信:
作者簡介:面向AI愛好者、開發者和科學家,提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例,助你全面擁抱AIGC。