2024年諾獎解讀：統計物理、人工智能與復雜科學

背景2024年諾貝爾物理學獎授予“通過人工神經網絡實現機器學習的基礎性發現和發明”，人工神經網絡可以說是統計物理引發的機器學習（Science for AI）。諾貝爾化學獎則授予蛋白質設計和結構預測的相關研究，展現了人工智能在推動科學創新方面的重要作用（AI for Science）。人工智能和科學的這種雙向互動開創了 AI+Science 新紀元，也在加速對復雜系統的理解。2024年諾貝爾物理學獎授予機器學習，令人意外嗎？機器學習與統計物理有著怎樣的聯系？人工智能和科學的發展如何相互賦能？統計物理與復雜系統可以為人工智能研究提供哪些啟發？AI 會超越人類的理解力發現新物理嗎？下一個諾獎級的科學研究會是什么？針對這些問題，我們邀請到三位集智科學家，加州大學圣迭戈分校副教授尤亦莊，北京師范大學系統科學學院教授、集智俱樂部創始人張江，香港浸會大學助理教授唐乾元（傅渥成），一起深入解讀了2024年諾貝爾獎。本文是此次討論的文字整理，分享給各位讀者朋友。研究領域：統計物理，復雜系統，量子力學，人工智能，神經網絡，重整化群來源：集智俱樂部講者：尤亦莊、張江、唐乾元整理：朱欣怡編輯：梁金目錄2024年諾貝爾物理學獎授予機器學習，令人意外嗎？John Hopfield 和 Geoffrey Hinton 的主要貢獻是什么？機器學習與統計物理有著怎樣的聯系？人工智能和科學的發展如何相互賦能？統計物理與復雜系統可以提供哪些啟發？AI 會超越人類的理解力發現新物理嗎？下一個諾獎級的科學研究會是什么？- 1 -2024年諾貝爾物理學獎授予機器學習，令人意外嗎？Q：2024年諾貝爾物理學獎授予了機器學習相關的研究，引起了公眾和物理學界的廣泛關注和熱議。許多人表示難以理解，為何將如此重要的物理學獎項授予了計算機科學領域的研究。同時，計算機科學家們也感到困惑，為何物理學家會涉足他們的領域。在此背景下，各位老師對這次諾貝爾物理學獎有何看法？張江：我是非常詫異的。一般來講，諾貝爾物理學獎通常授予那些與物質科學、物理系統緊密相關的研究，除了2021年的獎項頒發給了研究復雜物理系統，包括大氣系統領域的科學家。按照我們通常的理解，人工智能是計算機科學的一個分支，似乎與物理學的聯系并不緊密，今年的諾貝爾物理學獎卻授予了與人工智能相關的研究，這讓我感到非常驚訝。此外，Hopfield 網絡以及 Hinton 的一些早期研究，雖然在人工智能領域具有開創性意義，但從現代人工智能的角度來看，這些模型又有點兒太古老了，我們現在基本上已經超越了這些早期模型。所以我覺得這次物理學獎的頒發確實令人震驚。尤亦莊：大家對今年諾貝爾物理學獎的結果感到意外。我注意到許多同事對此選擇了沉默，索性閉口不談了。在美國，人工智能在物理系研究得越來越多，人們逐漸認識到人工智能有著深厚的物理基礎，其研究與物理學的聯系也很密切。我覺得身邊的教授們似乎還比較能接受。當然，總體而言，大家仍然覺得相當驚訝，因為人工智能并非傳統物理學的幾個重要領域之一。傳統上，諾貝爾物理學獎經常頒發給量子物理、天體物理和宇宙學、高能物理、凝聚態物理以及原子分子物理等領域。在今年諾貝爾獎揭曉之前，人們也是按照這個順序來猜測：過去幾年這些領域是風水輪流轉，今年應該輪到哪個領域了。然而，這些猜測大多都落空了。這可能表明，從諾貝爾獎委員會的角度來看，似乎人工智能、復雜系統，甚至智能或意識的起源等問題，可能逐漸成為物理學研究的新領域。物理學本身也應該與時俱進。因此，盡管從獲獎內容來看，如張江老師所言，相對于當前的深度學習技術，這些成果似乎有些滯后，但從物理學范式的發展和整個學科的創新來看，這個獎項的頒發是非常及時的。唐乾元：我還想補充一點，盡管今年的諾貝爾物理學獎結果出人意料，但不久前網絡上流傳的一個熱門帖子揭示了一個有趣的現象。有人發現一本教材在介紹時，已經將 Hopfield 標注為諾貝爾物理學獎得主了，這實際上是一個預言，因為當時他還未獲得該獎項。這表明，盡管存在誤解，但許多人已經認為他的成就足以獲得諾貝爾獎的認可。這個錯誤可能是作者在編寫時誤以為他已經是諾貝爾獎得主了。因此，實際上物理學界對 Hopfield 的貢獻是非常認可的，他甚至在2022年統計物理大會上獲得了玻爾茲曼獎，玻爾茲曼獎是統計物理領域的最高榮譽，這表明物理學界對 Hopfield 的貢獻給予了極高的評價。Hinton 的獲獎則相對令人意外。- 2-John Hopfield 和 Geoffrey Hinton的主要貢獻是什么？唐乾元：我們先從 Hopfield 講起，我可以介紹一些他在 Hopfield 網絡之外的工作。實際上，他的父親也是一位物理學家，他自己也一直在學物理，早期在凝聚態領域做過一些工作。后來從上世紀 70 年代起，他開始轉向生物物理方面的研究。最初，他研究了生物化學反應里的一種校對機制，因為很多生物化學反應存在隨機性，可以通過一些非平衡機制來實現錯誤校對。在非平衡物理體系建立之前，Hopfield 已經提出了這種機制。之后他開始研究神經網絡，也就是 Hopfield 網絡。在這項研究之后，他又做了很多工作，比如關于嗅覺問題的編碼機制，以及更多有關神經網絡的理論研究。近些年他仍在做一些相關研究，依然是一位活躍的學者。關于 Hopfield 網絡，我想聽張江老師從最早期的基于能量的模型來給大家簡單的介紹一下。張江：大約 20 年前，集智俱樂部剛建立那會兒，我參加了圣塔菲研究所和中科院理論物理研究所聯合舉辦的暑期學校，在里面聽了很多關于統計物理的知識后開始進入相關領域。我印象特別深刻的是伊辛模型，在百科上也有關于它的科普介紹，我們完全可以把它理解成是村民投票的情景，每個村民可能會受周圍鄰居的影響，這樣就構成了一個相互影響的互動系統。“伊辛模型”集智百科：什么是伊辛模型 Ising Model | 集智百科https://wiki.swarma.org/index.php/伊辛模型在這個系統里，最有意思的是有序和無序之間的競爭。所謂有序，就是每個村民在某種程度上要服從絕大多數，會看周圍鄰居對自己的影響；而無序則是每個村民在投票選擇時存在一定隨機性。在這個物理系統里，最早伊辛模型是用于對鐵磁順磁（也就是磁鐵）的相變行為進行建模：當溫度升高到一定程度，會變得非常無序；溫度很低時，就會產生相應磁性，所有自旋的行為變得一致。比較有意思的是，中間存在一個臨界點，在臨界點附近時，整個系統會變得非常復雜，出現分形、自相似結構等有趣現象。那它和 Hopfield 網絡有什么關系呢？實際上，Hopfield 網絡是伊辛模型的擴展。伊辛模型是晶格化系統，將其變成全連通網絡，并且彼此之間聯系的強度可以隨機取值，這樣就變成了一個很復雜的網絡。同時，我們可以通過一種學習機制讓網絡的權重有一定變化，使得能量的最小點剛好對應我們需要記憶的一些模式。所以 Hopfield 網絡剛造出來時，最早是用于聯想記憶的。比如給它一些數據，里面有像 1234 這樣的手寫體數字等模式，它會慢慢收斂，其能量最小值就會對應到這些模式上。反過來，在運行時，給它一定，要是和某個手寫體數字很像，它就會慢慢收斂到那個吸引子，從而把記憶中的模式恢復出來，這就是最早的 Hopfield 模型。圖1. Hopfield 網絡可以存儲和重建數據中的模式。尤亦莊：我覺得今年諾貝爾物理學獎的這兩個工作都跟統計物理有密切的關系。Hopfield 提出來的 Hopfield model 是最早的一類基于能量的生成式模型，它其實是利用了統計物理中的一個基本原理——玻爾茲曼分布。事實上，現在我們所謂的基于能量的生成式模型，就是平衡態統計物理的最基本方式。早期，物理學家們想要理解大量個體的相互作用，他們演生出來的集體行為是怎樣的，這是統計物理所想要理解的主要目標。統計物理中“統計”這個詞就是在統計個體的行為。比如說像我自己吧，小時候我就對模擬多個粒子之間相互作用這件事情很感興趣，會自己寫計算機模型來模擬。我當時有一個想法就是也許我理解所有粒子的之后，就可以了解宏觀的行為。但后來我發現我錯了，其實理解單個粒子的，并不能幫助你理解宏觀行為。相反，宏觀行為實際上往往只取決于很少的一些量，比如說這個系統的總能量。那么統計物理學家后來發現，一個多體系統中的概率分布，只跟這個多體系統的能量函數有關，人們可以寫下概率分布和能量函數相對應的表達式，基本上能量函數就正比于概率分布的對數。基于這個原理，我們就可以用能量函數來模擬很多不同的多體系統的分布。這里面的多體系統，當然也包括磁性系統。在研究磁性系統時，物理學家們發現，磁性系統在低溫下會展現出很多不同的模式，比如說有鐵磁態和反鐵磁態。這會出現很多很奇怪的自旋玻璃的狀態。人們經過一番研究了解到，原來這些狀態都是跟自旋和自旋之間相互作用、能量是怎么分配的有關。這就形成了我們看到的宏觀現象——某一種 pattern 的形成都存在一個背后的能量。但是我覺得 Hopfield 的工作在平衡態統計物理的基礎上面有一個范式突破。為什么這么說呢？以前的平衡態統計物理都是在問：給一個能量函數，給定系統的相互作用，它在高溫和低溫下都有什么樣的行為？人們是想要去求解這個系統的行為。但是 Hopfield 說：不，你可以改變，你可以修改你的問題，你可以修改你的能量函數，你可以修改這些自旋之間相互作用的模式。通過修改相互作用的模式，以期待能夠形成某個你想要讓它形成的特定模式。這實際上就是從給定生成機制，被動地去生成結果（生成機制-結果），到想要獲得某個結果，從而去尋求它的生成機制（結果-生成機制），變成一個學習過程。所以他就把統計力學，從一門回答問題的學問，變成了一門去學習，從學習中間找到某個模式背后生成機制的學習算法。他想到要反過來問這個問題，能夠通過對自旋模式的觀察，然后去修改出最適合穩定自旋模式的相互作用的模型。這個模型在應用的時候自然而然地能夠利用統計物理的力量，在低溫時重現相應的結構。而且當相應的結構一旦發生破壞時，重新降低溫度，這個破壞或者這個錯誤也可以被糾正回來。這些工作其實在現代的信息處理中有相當重要的應用。我們都知道，通訊過程中可能會出現很多錯誤，現代量子計算在計算過程中同樣也會產生錯誤，而這些錯誤都需要進行糾錯處理。實際上，像 Hopfield 這種借助能量模型來建立某種背后機制，然后通過降溫的方式來糾錯的做法，是一種最為自然的糾錯機制。我還記得早期的計算機用的是磁盤存儲。磁盤之所以能夠長期保存信息，就是因為磁盤里面存在著這種鐵磁性的糾錯機制。雖然磁盤處于復雜的環境中，時不時就會有一些自旋翻轉，但它依然能夠憑借多體相互作用將這些錯誤糾正回來。所以我覺得這項工作非常厲害的地方體現在兩個方面。第一，它改變了我們對于統計物理的看法，不再是單純地，一群物理學家僅僅想著去求解某個數學模型在低溫環境下的狀況，而是要思考如何從現實的數據當中去構建一個新的模型。其二，它也告訴我們可以如何用物理來幫助我們糾錯，物理是如何和信息聯系起來，如何和編碼聯系起來的。這是我覺得它非常值得獲得這次諾貝爾獎，而且這個諾貝爾獎也確實和物理有很有關系的一個原因。張江：我想補充 Hinton 的工作對于神經網絡研究的價值和意義，以及它與 Hopfield 網絡的關系。實際上最初接觸神經網絡時，我完全沒有意識到它與統計物理的聯系。神經網絡看起來就是一個簡單的輸入，每個神經元接收輸入信號，當輸入足夠多時，神經元可能會被激活，并繼續向下傳播信號。通過梯度反向傳播的方式，我們可以訓練網絡進行學習。本科期間，我們當時做過一個項目，使用前饋神經網絡學習數據中的模式并進行預測。但直到后來我參加了暑期學校，接觸到伊辛模型，才豁然開朗，意識到神經網絡與伊辛模型、自旋之間可以完全對應起來。我們可以將每個神經元視為伊辛模型中的一個自旋（spin），每個自旋有兩種狀態：朝上或朝下，這正好對應于神經元的激活和非激活狀態。在伊辛模型中，每個自旋的狀態受到周圍鄰居以及自身隨機性的影響。對于神經網絡來說，其他神經元對它的狀態也有一定的影響，因此，它們也是通過相互作用來決定是否激活。此外，激活函數本身將隨機性對應到 S 型激活函數曲線中，從而建立了兩者之間的關系。我認為，最早明確建立這種關系，并使神經網絡能夠以統計物理的方式運作，與 Hinton 的研究工作密不可分。他對神經網絡的一個重大改進是將網絡分為兩層：一個是顯層，相當于輸入層，用于接收數據；另一個是隱層，起到數據壓縮和表征的作用。在今天的深度學習中，這種表示學習——獲得數據的壓縮表示——是非常重要的，也是我們人腦處理復雜信息的基礎。因此，我認為 Hinton 的研究工作是非常了不起的，他將統計物理的概念完全融入了神經網絡這一學科。唐乾元：Hopfield 的貢獻其實還體現了“more is different”這一非常基礎的概念。安德森在傳記中將 Hopfield 視為未共同發表過文章的隱藏合作伙伴。在傳統神經科學中，人們認為大腦中的記憶存儲在特定區域，但 Hopfield 提出了一個全新的觀點：記憶沒有儲存在大腦的任何一個地方，而是儲存在大腦的所有地方。所有神經元共同作用，形成了記憶，這可能是大腦執行記憶及其他功能的工作方式。而且這個機制也有它相應的神經科學背景，即所謂的“Hebbian 學習規則”，簡而言之就是“在學習過程中，如果兩個神經元經常一起放電，那么它們就更有可能產生連接”，即“Fire together wire together”，這個機制就是剛才尤亦莊老師所講的，怎么樣把一個要記憶的模式編碼到神經上。Hopfield 通過物理模型將這一概念具體化，這是他的一個重要貢獻。此外，Hopfield 還有另一個不太為人所知的貢獻。剛剛張江老師也有提到，在磁性系統中，臨界性是一個非常關鍵的特征。在湯超老師他們提出自組織臨界現象之后，Hopfield 也很早對大腦中的臨界現象產生了興趣，并撰寫論文使用模型來說明大腦中可能存在的臨界機制，因此 Hopfield 也可以說是大腦臨界性假說的先驅之一。（參看：《《大自然如何運作》：關于自組織臨界性的科學｜湯超院士作序推薦》）關于 Hinton 的貢獻，Hinton 最早提出的玻爾茲曼機可以看作是 Hopfield 模型的一個推廣。玻爾茲曼機本身是全連接的，但由于需要處理的連接數太多，不太實用，后來被改造成受限玻爾茲曼機，區分了隱層和輸入層。雖然 Hinton 并非受限玻爾茲曼機的最初發明者，但他的貢獻不能忽視，事實上他重新挖掘了這一模型，并提出了對比散度（Contrast Divergence）的訓練方法，使得玻爾茲曼機變得真正可用。對比散度是一個復雜的迭代過程，但 Hinton 的一些工作使其變得可行。所以我期待尤亦莊老師能進一步講述 Hinton 在對比散度以及采樣方面的一些貢獻。尤亦莊：Hinton 的工作實際上是對 Hopfield 模型的推廣，他將 Hopfield 模型推向了新的高度。這種生成式模型的核心目標是學習一個能量函數，以此來代表樣本的概率密度分布。所有的生成式模型都需要基于樣本進行訓練。但怎樣訓練玻爾茲曼機就成為一個問題。Hinton 想了一些非常巧妙的方法來進行訓練，他的基本思路是這樣的：如果我們用某個能量函數作為模型，生成一個概率密度分布，而樣本本身也有其自身的概率密度分布。原則上，我們希望這兩個概率密度分布盡可能接近，也就是讓模型的分布盡可能接近樣本的分布。我們需要最小化一個名為 KL 散度的量——也就是兩個分布之間的相對差異。經過一番研究，他發現相對熵基本上可以表示為：兩種能之間的差。這其實是非常有趣的一點。想象一下，如果我們讓模型閉著眼睛，按照自己的方式去運行，它會產生一個統計力學系統的能，這個能代表了系統在某種平均意義上的能量。而當模型的顯層（visible layer）中有樣本數據時，我們稱之為“claimed free energy”，當數據被加載到顯層時，模型同樣會有一個能。這兩個能之間的差，正好就是 KL 散度所代表的損失函數（loss function）。這為我們指明了一個訓練的方向，就好像睜眼和閉眼的關系。在訓練過程中，你可以先讓模型閉著眼睛，自己想象一下。假設我現在手上有一堆自旋，一部分自旋屬于顯層，它們需要與數據保持一致；另一部分自旋屬于隱層，數據對它們來說并不重要。在閉眼的時候，我們觀察顯層自旋之間的關聯有多強，這是模型在想象或“做夢”過程中構想出來的顯層之間的關聯。然后在有數據之后，模型會再次觀察顯層的數據，進而研究在顯層數據固定的情況下，熱力學系統達到平衡時，顯層和隱層之間的關聯有多強。例如，在受限玻爾茲曼機中，我們唯一需要關心的關聯是介于顯層和隱層之間的。因此，我們只需要比較有數據和沒有數據這兩種情況下的關聯強度，就可以判斷顯層和隱層之間的連接是應該增強還是減弱。如果數據到來后，經過熱平衡，顯層和隱層之間的關聯較弱，而沒有數據時，系統的顯層和隱層之間的關聯較強，這表明系統的想象與實際情況不符，因此應該減少顯層和隱層之間的關聯強度。相應地，就應該減少它們之間的耦合強度來實現這一點。這就是對比散度的基本思想。這就像我們平時學習時有翻書學習和閉卷思考的過程，也如同孔子所說“學而不思則罔，思而不學則殆”，意味著學習和思考應該相結合。我認為，對比散度的思想非常好地體現了學習和思考兩個過程的結合。當有數據來時，你需要學習以達到某種平衡，你還需要有思考，然后對比睜著眼睛學習和閉著眼睛思考的印象差異，從而對自己的神經網絡權重進行調整。當然，這個過程中涉及到熱平衡的步驟。當數據輸入時，我們需要根據數據讓整個系統達到熱平衡，這意味著要經過反復多次的采樣迭代，才能使自旋系統達到平衡。在閉眼思考的時候，也需要進行多次采樣迭代。這時就涉及到了一些計算復雜度的考量。早期的算法并不十分成功，部分原因是在自旋模型上使用蒙特卡羅采樣方法求解需要消耗大量的計算資源。Hinton 有一個非常重要的觀察：實際上，你并不需要讓兩個系統達到熱平衡。雖然從數學原則上講，你應該比較平衡態之間的關聯強度，但我們實際上已經能夠看出閉眼和睜眼這兩種情況下——也就是有數據和沒有數據這兩種情況下——關聯的差別，這已經可以提供某種學習信號。Hinton 還證明，即使你按照這樣一個不完全正確的信號，最終，損失函數（loss function）的最小點和原來的最小點也是一樣的。這就使得我們可以用更高的效率進行采樣和學習。這些思想從平衡態物理走向非平衡態物理，都是統計力學中非常有趣的思路。我認為，這些都是非常值得我們思考和借鑒的。張江：Hinton 在神經網絡學派的歷史中扮演了兩次關鍵性的拯救者角色。第一次大約在上世紀80年代。在此之前，人工智能自1956年起步以來，主要是以搜索、推理邏輯等為主的傳統 AI 占據主流。盡管神經網絡的概念最早可以追溯到1943年由 Warren McCullough 和 Walter Pitts 提出的神經網絡數學模型，但由于 Minsky 和 Papert 在他們的著作《Perceptrons》中證明了單層感知機模型無法解決簡單的異或XOR等線性不可分問題，這導致神經網絡學派幾乎被扼殺。在那個時期，研究者們擔心自己的論文無法發表，神經網絡學科差點因此消亡。然而，正是 Hinton 堅持神經網絡的研究，并成功將反向傳播算法應用于多層神經網絡訓練，這標志著他第一次拯救了神經網絡學派。第二次拯救發生在深度學習的萌芽時期。當時，盡管人們看到神經網絡在很多學習任務中表現得很好，但由于神經網絡的深度有限，能解決的問題非常受限。因此，當時大家對神經網絡并不看好，而且有很多其他的競爭算法。Hinton 通過將受限玻爾茲曼機做得很深，證明了深度神經網絡的潛力。根據我的印象，他可能是在2006年發表的文章中第一次使用了“deep neural network”這個詞。這使得人們意識到，不是神經網絡不行，而是我們做得不夠深。當我們把它做深了以后，它真的就能工作，而且效果很好。最早的時候，他們在語音識別和圖像識別上取得了巨大的突破，這讓更多人看到，原來我們可以通過深度學習的方式讓人工智能完全通過深度的方式進行學習，并且取得了非常好的效果。Hinton 在神經網絡研究歷史上的第一次關鍵突破：將反向傳播算法應用于多層神經網絡訓練Rumelhart， D.， Hinton， G. & Williams， R. Learning representations by back-propagating errors.Nature323， 533–536 (1986). https://doi.org/10.1038/323533a0Hinton 在神經網絡研究歷史上的第二次關鍵突破：提出深度神經網絡Hinton， Geoffrey E.， Simon Osindero， and Yee-Whye Teh. A fast learning algorithm for deep belief nets. Neural computation 18.7 (2006): 1527-1554. https://direct.mit.edu/neco/article-abstract/18/7/1527/7065/A-Fast-Learning-Algorithm-for-Deep-Belief-NetsHinton， G. E.， & Salakhutdinov， R. R. (2006). Reducing the dimensionality of data with neural networks. Science， 313(5786)， 504-507.- 3-機器學習與統計物理有著怎樣的聯系？尤亦莊：我認為，物理學與人工智能之所以能夠緊密結合，很大程度上是因為物理學本質上試圖對現實進行建模，而 AI 在很大程度上也是要對現實進行建模。什么是現實？現實就是我們想要學習的數據。建模又是什么呢？就是我們要訓練的 AI 的模型。所以它們的目標在很多情況下是一致的。正因如此，物理學家在長期為世界建模的過程中發展出的許多數學模型，是值得 AI 領域借鑒的。事實上，我們可以看到，當前許多生成式模型都借鑒了物理學思想。比如我們之前提到的，今年獲得諾貝爾物理學獎的基于能量的生成式模型，以及基于流的生成式模型，這些模型與概率流、不可壓縮流體等物理概念有關。還有基于擴散的生成式模型，它們與物理學中的擴散過程相關。甚至在量子物理領域，人們提出了基于量子力學的模型，比如像張量網絡，王磊老師在這方面有開創性的工作。特別是在深度模型領域，我們的主要任務是對世界進行建模，但遺憾的是，世界是隨機的，因此我們必須對概率密度和概率分布進行建模。在對概率分布進行建模時，涉及到物理學中與概率分布相關的兩大學科：統計力學和量子力學。這兩個領域各自有一套建模概率分布的方法。因為概率分布必須是一個正定的數，我們不能隨意設計一個神經網絡，然后聲稱這個網絡的輸出就是概率分布。神經網絡的輸出沒有正定性的保證，所以統計力學采用了一種方法：使用玻爾茲曼分布。這種方法首先構造一個能量函數，然后對其進行指數化，通過指數映射將任何實數映射到正的概率上。而在量子力學中，則是構造波函數。波函數本身不需要正定性的要求，但通過取其模的平方，我們同樣能得到一個正定的概率分布。這些建模的思路聽起來可能是簡單的技巧，但實際上它們都可以被應用到機器學習中。物理學的文獻或課本中散布著各種各樣的小技巧，我認為從這里面汲取經驗對于我們進入機器學習領域是非常有幫助的。寫給物理學家的生成模型. 王磊，張潘，《物理》2024年第6期張江：還有一個觀點我覺得特別有意思，是尤亦莊老師提到的，關于深度神經網絡的“深度”與物理學中重整化群的緊密聯系。這個聯系可以理解為，當我們不斷將信號向上層傳播時，實際上是在用一個更宏觀的視角、一個更寬廣的尺度去觀察同一個系統。因此，深度學習實際上是一種多尺度學習。這一點當時也讓我感到非常震撼。這種多尺度學習的特性在形式上類似于重整化群。在一些網絡中，比如卷積神經網絡（CNN）中，我們也可以看到，從較淺層到較深層提取的特征，本身就具有這種多尺度特性。當然，與重整化群的聯系可能只是其中之一，可能還有更多的聯系。我們可以進一步思考，深度學習在這個問題上與統計物理，或者更廣泛的物理學領域，究竟有哪些聯系。尤亦莊：剛才提到重整化群，我非常愿意深入這個話題，因為這也正是我個人研究的主要方向之一。我想在這一點上稍微展開一下，傳統上，重整化群是我們理解復雜系統的一個非常有效的工具。它的核心思想是先將一個復雜系統在局部進行粗粒化處理，然后提取出最重要的特征，并思考這些特征在更大尺度上的相互作用，從而提取出有效的相互作用。這樣，我們就構建了一個有效模型，可以在有效模型的基礎上進一步簡化，提取出更有效的模型，使得系統得以逐步解析。然而，如何提取有效的特征一直是一個問題，長期以來并沒有非常明確或統一的做法。很多時候，這依賴于像 Leo Kadanoff 這樣杰出的物理學家來提出重整化方案。我們團隊的一些研究就是想利用機器學習的方法，尤其是受限玻爾茲曼機的一個重要功能就是能夠提取特征，它能夠通過表示學習，在觀察到的較為細節化的樣本中提取出關鍵特征。粗粒化特征的提取，可以視為深度學習在物理學應用的一個實例。將深度學習應用于物理領域，確實能解決一些物理問題。我們設計一些基于深度學習的重整化算法，并且真的能夠將它們應用于統計力學模型。在物理學中，我們想要回答的問題通常是在這些統計力學模型發生相變時，相變的臨界指數是多少，或者相變中的自旋關聯函數以怎樣的速率指數衰減等定量問題。這些問題是物理學家非常希望得到答案的。如果我們能夠發展出更好的重整化方案，就能定量地回答這些問題。雖然目前來說，大部分深度學習的應用在于圖像和語言處理，看起來似乎是一種比較定性的應用，但實際上，生成式模型和深度學習也可以在科研中產生定量的結果。我們的研究論文顯示，這些算法能夠為我們提供越來越精確的方法來確定物理學中的臨界指數。這是人工智能在物理學應用的一個例子。AI的發展為我們提供了新的工具，使我們能夠以定量的方式回答一些以往可能只能定性回答的問題，這對定量科學是有幫助的。反過來，物理學對 AI 其實也有幫助，統計物理本身對于理解深度學習的原理就有很大的貢獻。像 Dan Roberts 等科學家們研究了深度神經網絡為何能學習，并運用一些統計物理中的量，特別是量子場論中的技巧，他們試圖理解，在神經網絡神經元數量趨于無限的情況下，網絡會展現出怎樣的行為。這些行為是可以用統計物理方法去理解的，因為統計物理想要理解的恰恰是多體系統中粒子趨于無限的極限情況。所以，當神經網絡中的神經元數量趨于無限時，它也會展現出一些統計物理可以處理的行為，統計物理就能為理解神經網絡如何工作提供一些理論支持。比如，在這些研究中發現了神經網絡的標度律（neural scaling law），發現了如何初始化神經網絡參數，每一層應該初始化的高斯寬度應該是多少，才能使神經網絡恰好處于理論要求的最佳狀態，使其學習和訓練效果最佳。我認為，無論是 AI for Physics 還是 Physics for AI，這兩方面都是相互促進的。Roberts， Daniel A.， Sho Yaida， and Boris Hanin.The principles of deep learning theory. Vol. 46. Cambridge， MA， USA: Cambridge University Press， 2022.- 4-人工智能和科學的發展如何相互賦能？Q：我們剛才討論的很多內容主要是從物理學的角度出發。我們知道除了 Physics for AI 或 Science for AI 之外，還有一個與之相對的領域，那就是 AI for Science。現在的 AI 工具已經可以應用于許多科學問題中。比如今年的諾貝爾化學獎就頒給 AlphaFold 的開發者，他們解決了一個長期以來非常困難的科學問題——蛋白質的天然結構預測問題。我想請教老師們，針對 AI for Science 這一領域，AI 還能有哪些更廣泛的應用？尤亦莊：我認為 AI for Science 已經在整個科學研究領域廣泛流行，就像當年計算機出現后，大家都想用計算機來做科學一樣。現在，AI 在科學中的應用我覺得有以下幾點。首先，AI 和神經網絡可以輔助人類為科學提供一種變分猜測。因為神經網絡能夠擬合各種函數，在科學中，我們經常面對未知，需要提出假設，而人的想象力畢竟有限，需要 AI 來幫助我們提出假設。在這方面的工作，比如有人提出可以用神經網絡來構造量子波函數，通過優化量子波函數來計算各種分子或多體量子系統的基態解，從而理解復雜的材料、設計各種藥物等等，這些應用都是非常有價值的。另一方面，AI有可能替代所謂的計算瓶頸（computational bottleneck）。在科學研究中，很多領域需要進行大規模的模擬，這些模擬的成本通常非常高，需要消耗大量的計算資源。很多時候，人們希望能夠采用一種端對端的方法。模擬通常是一個類似爬山的過程：輸入條件相對簡單，答案也不難得到，但中間的過程極其復雜。如果你重復這個過程多次，積累了足夠多的數據，就可以訓練 AI 來替代這個爬山過程中的中間步驟，也就是那些計算復雜度先增加再減少的部分。這樣，AI 可以直接打通一個計算復雜度平坦的隧道，這是 AI 的第二個用途，即替代計算中的瓶頸，在科學中也非常有用。第三個是AI 輔助數據挖掘。以高能物理領域為例，在歐洲核子研究中心（CERN），科學家們每天都在進行大量實驗，將原子質子相互對撞，希望從這些高能對撞的數據中發現粒子物理是否對標準模型有新的違反。但標準模型已經相當成熟，我們想要發現新的物理現象，就像是在巨大的噪聲背景中尋找微小的信號。粒子對撞機每時每刻都在產生大量數據，如果全部記錄下來并逐一分析，首先存儲空間就不夠，更不用說分析所需的計算資源了。很多時候，我們需要在對撞機現場第一時間判斷這個對撞是否值得記錄，這個過程被稱為“trigger”，用他們的術語來說就是“扳機”。他們需要發展 AI 算法，直接在對撞機上、在大數據中挖掘出信號，并用這些信號來觸發后續所有的過程。在天文學中也是如此，比如之前引起熱議并且后來獲得諾貝爾獎的黑洞照片的發現，這些天文照片的處理中都運用了 AI 技術。因此，AI 作為數據挖掘工具，在數據處理方面發揮了重要作用。所以，我認為 AI 作為變分假設的工具、替代計算瓶頸的手段，以及數據挖掘的工具，這三個應用領域相對來說已經非常成熟，并且得到了廣泛的應用。但我覺得 AI 目前還難以做到的一點是，我們還不能指望它像研究生那樣進行科研，并與導師對話來規劃科研項目。大語言模型的發展讓我們看到了這方面的一些希望，但這種希望似乎并沒有最初想象的那么大。我認為在這方面我們還需要耐心等待。這是否有可能是需要某種集成效應，是否需要多個 AI 共同工作，形成一種社會結構，還是說目前我們訓練的范式本身就存在問題，使得這個過程并不可持續。也許我們需要更多創新的思路，才能真正讓 AI 與人類在科學發現上進行交流，或者甚至代替人類做出新的科學發現。張江：在這方面，我認為 AI 可能會在某種程度上帶來科研范式的轉變。我們熟悉的現行自然科學，尤其是像物理學這樣非常典型的領域，采用的是一種從第谷到開普勒，再到牛頓，還可以加上愛因斯坦的范式。也就是說，首先是像第谷從數據出發，進行數據挖掘的工作。然后，像開普勒最大的貢獻在于提出了描述模型，能夠用一些方程來概括一組數據，但這些并不是機制性的模型。牛頓的最大貢獻在于他提出了三條定律，發現天上的天體和地上的汽車、蘋果都遵循同一組方程，從而找到了更本質的規律。愛因斯坦則更加抽象，達到了時空對稱性的層次，用以解釋所有這些現象。這是一個傳統的科學研究范式。但現在我們面臨的許多系統并不那么簡單，它們可能是非常復雜的，比如氣象系統，甚至包括整個地球的氣候模型。對于這種復雜系統，我們很難再按照傳統的方式去抽象和建立模型，探索最終的對稱性。在這種情況下，人工智能，尤其是大語言模型，為我們提供了一種新的可能性：以數據驅動的方式，通過學習具有大量參數的神經網絡來理解整個數據集。這時就會出現一個困惑，即這種具有大量參數的模型，我們人類很難理解，不像傳統物理學中我們可以寫出一個方程，看了之后就能明白這個方程背后的原理是什么。但現在不行了，人工智能的可解釋性成為了一個巨大的瓶頸。面對這個問題，我們可能有兩種應對的方式：一種途徑是我們接受這種現狀，不尋求解釋，直接從大參數模型到大參數模型。實際上，現在的大語言模型就是這么做的，沒有人知道語言背后的美麗方程是什么，以及它的對稱性原理是什么，我們可能根本就不知道，但這無所謂，我們可以很好地處理和模擬人類的語言能力。這是放棄可解釋性的一種方式。另一種途徑是我們試圖開發一些可解釋性的工具和方法，讓模型提煉出我們人類能夠理解的原理性的東西。我認為這也是一種值得探討的可能性。總而言之，AI 這個新工具的出現，像尤亦莊老師說的那樣，就像當年的計算機，但甚至可能比計算機還要更厲害，它能夠非常深層次地嵌入到我們的科學研究中。唐乾元：我想再補充一點，這實際上也是我們接下來要討論的關于可解釋性的問題。我想分享我在這方面的兩個新嘗試。第一個想法是，現在有這么多人在開發 AI，AI 產生了大量數據，卻沒人來分析 AI 生成的數據。我的想法是，與其讓 AI 來做開普勒或牛頓，不如讓 AI 來當第谷，我們人類自己來做開普勒，我們自己來做牛頓，分析 AI 生成的數據，從中發現新的物理規律。比如在蛋白質結構預測領域，現在已經完成了人類和各種動物的基因組測序，我們人類可以在此基礎上進行統計物理研究。我認為這是一個角度來打開 AI 的黑箱，我們并沒有去打開 AI 的黑箱，而是從 AI 學到的結果中來看它的統計物理，以此來理解 AI 到底學到了什么。另一個角度是，我們不打開 AI 的黑箱，但在使用 AI 工具時，我們不會只問一個問題，有時還會給它一些提示詞。比如問“為什么天是藍色的”，你可以說假設你是費曼，請給我解釋一下為什么天是藍色的，假設我是一個五歲的小朋友，你給我解釋一下為什么天是藍色的。提示詞不同，就可以得到不同的回答。類似地，蛋白質結構預測工具不僅會利用它要預測的蛋白質的結構序列，而且會參考與該序列相似的祖先序列。這個過程有點像是根據關聯來推斷相互作用，我們可以把祖先序列當成是一種提示詞，給 AlphaFold 這部分序列，就可以讓它預測出這種結構，給它另一部分序列就可以預測出另一部分結構。AI 在不同的提示詞情況下，會預測出不同的蛋白質結構，變相地我們就把蛋白質動力學用 AI 解出來了。這樣我們自己不再是 AI 的工程師，而是提示詞工程師，我們給 AI 設計提示詞，雖然沒有打開 AI 的黑箱，但最終還是打開了 AI 的黑箱。（參看：《AI+Science新視野：用物理信息引導AlphaFold 2預測蛋白質動力學》）圖2. 當 AI 可以像第谷一樣生成數據，人類自己可以做開普勒，分析 AI 生成的數據，從中發現新的物理規律。｜摘自唐乾元老師報告- 5-統計物理與復雜系統可以為人工智能領域提供哪些啟發？Q：現在 AI 領域主要應用的是統計物理，但我們知道物理學在統計物理之后有很多發展，包括量子力學、量子場論，以及現在的前沿領域。不知道這些物理理論未來是否也有可能被應用到 AI 架構設計中去？尤亦莊：我覺得在很大程度上，AI 的發展在不斷地將各種數學工具融入其中。比如前饋神經網絡實現了任意函數的映射；循環神經網絡（RNN）實現了時間序列的處理，類似于物理學中的動力學方程；還有像 Neural ODE 這樣的模型實現了微分方程的求解，包括自動微分和反饋等功能。這些都是基于高等數學的概念。我們自然非常期待有更高級的數學工具能夠被引入到 AI 中。當我們談論更深刻的物理時，往往會涉及到一些復雜的數學，比如范疇論、拓撲學等代數和拓撲領域。這些數學工具也有可能被應用到神經網絡架構的設計中，人們在這方面也在進行一些嘗試。總的來說，我認為這與此次諾貝爾獎的啟示有關。這兩位獲獎者將物理學應用到了學習算法的設計中，從而開啟了整個 AI 領域的新篇章。作為后來者，我們想要在他們的基礎上進一步發展，自然也需要更多地借鑒，將他們尚未引入 AI 領域的數學知識逐步引入，這是一個目標。更具體地說，像剛才提到的量子力學，這個領域現在非常熱門。比如在美國，明年春天就有一個會議專門討論 AI 與量子的結合。量子計算和人工智能的結合是非常自然的，因為它們有一個共同的話題——信息。關于如何處理信息，如何用人工智能幫助我們構建量子計算機，以及如何用量子算法來改進 AI 算法，這些都是當前討論的熱點。2025 年 AI+Quantum 會議https://sites.google.com/view/quai-acp-2025/home唐乾元：實際上，統計物理與復雜系統和機器學習之間存在著許多聯系。首先，就像尤亦莊老師剛才提到的，我們所說的深度學習不僅包括以深度神經網絡為代表的結構，還包括循環神經網絡等，它們可以用動力系統等復雜系統領域的工具來描述，這些也是復雜系統研究的對象。此外，復雜系統領域的一些工具，如儲備池計算（Reservoir Computing）等，也可以用來幫助我們分析這些模型中的基本理論問題。還有像尤亦莊老師提到的 Neural ODE，這是一種在圖像識別方面表現非常好的網絡，它被解釋為一種微分方程的表示。還有最近非常火熱的擴散模型（diffusion model）和大語言模型，大家都在討論這些模型中的一些基礎理論問題，這些問題物理學家們可以做出更多的貢獻。但這里我想問一個問題，這個問題不是我首創的。在諾貝爾獎剛剛發布的時候，中科院理論物理所的張潘老師在他的報告中提出，深度學習或者說機器學習在發展初期與統計物理的聯系是非常緊密的，但現在看起來越來越遠了。所以我想問問兩位老師，在未來某個時期，它們是否有可能重新合并，或者說在哪些領域上，它們可能會再次合并？圖3. 機器學習與統計物理兩個領域之間的聯系。｜摘自張潘老師報告尤亦莊：我認為，張潘老師的那張表中列出的是與自旋模型和自旋玻璃相關的統計物理的內容，但是，統計物理不僅僅包括這些，它還涵蓋了非平衡態統計物理。非平衡態統計物理中一個非常重要的部分就是福克-普朗克方程和朗之萬方程，這些方程描述的是隨機過程，而隨機過程正是當前擴散模型的基礎。因此，在我看來，我們不能說機器學習與統計物理越來越遠，反而它們結合得越來越深刻，與越來越多的領域結合在一起，越來越廣泛地融合。張江：從另一個角度來看，正如剛才提到的復雜系統，現在尤其是在大語言模型出現后，有很多現象未來可能需要用物理學的工具來解釋。有兩個典型的現象：一個是所謂的規模法則（Scaling law），另一個是涌現能力（Emergent abilities）。目前對這兩個現象還沒有非常好的解釋，而這些正是復雜系統的典型特征。我們觀察城市、生物等任何復雜系統時，都能看到隨著規模的增大，各方面指標會呈現冪律縮放。在神經網絡中，OpenAI 之所以敢于在大模型上下注，是因為規模法則有很強的預測性，當我們把模型做到一定規模時，損失（loss）一定會降到這么低。但這僅僅是眾多規模法則中的一小部分。現在可能在訓練之后，推理階段也會展現出相應的規模法則。我們知道，規模法則是臨界現象的一個典型標志，這意味著神經網絡模型最終變成一個復雜系統后，一定是一個遠離平衡的臨界系統。對于這種系統的認知，統計物理可能提供相應的工具，而目前還沒有其他更深入的認識。因此，我認為這些都是未來兩個領域能夠密切結合的非常重要的點。- 6-AI 會超越人類的理解力發現新物理嗎？Q：AI是否真的有可能幫助我們發現新的物理現象或者新的機制呢？還是說 AI 的長處并不在這里，仍然需要我們人類的參與？尤亦莊：我覺得這是一個非常好且重要的問題。現在的 AI 看起來與我們追求的通用人工智能（AGI）還有一定的差距，所以很多人都在問，通往通用人工智能的路在哪里？我以前聽祁曉亮老師講過，也有很多人在交流這些觀點，就是所謂系統一和系統二的概念。系統一是憑直覺響應的系統，系統二則需要反思，需要為世界建模。我認為 AI 發現新物理的過程其實就是在從系統一慢慢走向系統二。很多時候，人類的理性思維能力來源于對世界的預測，當發現預測被現實打臉時，會感到痛苦，從而產生理性思考。因此，如何訓練 AI 對世界進行預測、建立世界模型，是一個非常重要的問題。以前大家可能更重視的是表示學習，有點像是如何描述世界，或者更多的是關注如何做編碼。現在，我們還需要學習如何預測，更多的是在說這個如何演化，如果你對世界進行一些操作，這些操作會如何改變世界，有什么因果效應。所以，這些問題可能是未來 AI 更需要關注或研究的方向。作為物理學家，我覺得物理學實驗室為 AI 提供了一個很好的平臺，可以讓 AI 在實驗室里與實驗和現實互動。也許不能直接把 AI 放到大街上游蕩，那有點危險，但可以在一個可控的科學實驗室環境中，讓 AI 做化學實驗、物理實驗，在這個過程中學習自然的規律、自然科學的規律，讓它為自然科學建模。我認為這是讓 AI 學到物理、發現新物理規律所必須要經過的途徑。相關文章：《時間、信息與人工智能：從信息動力學角度看大模型的未來》張江：我非常同意尤亦莊老師的觀點，AI 需要更多地理解物理世界。在現代社會，我們面對的世界充滿了復雜性和不確定性。此外，我認為可能還會出現另一種可能性，這與大型模型的發展有關，特別是許多大公司正在開發的多模態大模型。現在的模型可以同時學言、圖像，甚至音頻和視頻等，將這些多模態數據集中起來后，可以有一個統一的表征，無論是建立對世界的模型還是進行理解。因此，我預見未來可能存在這樣一種可能性，這與兩位的探討有關：AI 可能在人類難以處理的領域之間發現一些共同的規律。例如，一方面在學習氣象模型，另一方面在學習經濟模型，如果將兩邊的數據同時用來訓練一個更大的模型，它很有可能找到不同領域之間的共性規律。這正是我們復雜科學追求的目標，即探索復雜系統背后是否有一些統一的規律。但由于人腦的局限性，我們很難找到這種統一性。未來在大型模型中，人工智能可能自行學會這些規律。但這時，可解釋性問題又出現了，即 AI 可能發現了新物理，但很難向我們解釋清楚。因此，我們后續可能需要研究其數據或模型本身，以揭開這層神秘的面紗。很有可能會出現這種情況。唐乾元：剛才尤亦莊老師提到了“打臉”的事情，也就是說，為什么我們會對某些預測感到意外，是因為它與我們預期中要發生的事實不符。因此也有人提出能原理來解釋人類或智能體對世界的感知和探索，并認為這有可能是意識形成的基礎。那么，是否有可能這是另一種發現物理的方法？想請張江老師就這一點進一步闡述一下。張江：能原理（Free Energy Principle）可能對我們理解智能有很大的幫助。有人說能原理在某種意義上是智能的第一性原理，這有一定的可能性。它給我們的最大啟發，是智能系統實際上是內在和外在雙向結合的結果。我們現在的數據驅動型人工智能模型比較強調直接從數據中獲取經驗，可能不太關注先天結構這部分。但實際上，我們知道人腦有先天性的結構，比如我們對對稱性很敏感，一看到對稱的東西就很興奮，尤其是物理學中，我們非常喜歡追求更高層次的對稱性，這可能來源于智能的某種先天性結構。因此，學習過程不僅是單方面被動地被外在數據訓練，很多時候是自己的先天性結構和外在數據之間的互訓，相當于互相影響。所以我認為，現在的人工智能在這方面的探索還比較少，尤其是智能的先天結構對最終結果的影響，這是一個非常有趣的問題。我對這個問題也非常感興趣，因為我認為很多 AI 網絡在初始化時，其初始化并不那么符合生物學或物理學原理。自然界中，實際上會用一些更簡單的物理機制產生初始結構，然后再演化。雖然這些結構在某些表現上不如機器學習任務，但它們有一些好處，比如能耗少，不需要那么多能量就能執行復雜任務，這是智能的另一種體現。比如下圍棋，雖然人下不過機器，但人腦耗能少。從這個角度看，自然規律本身的約束可能在其中起到了重要作用，幫助降低了訓練成本或遷移難度，或者擁有了更強的多模態能力等。這些可能都需要我們有更多的理論解釋和研究。尤亦莊：我覺得現在的 AI 缺乏文化。實際上，很多知識是固化在人類社會文化中的。比如剛才提到的對稱性，可能是因為我們受到了關于對稱性教育的影響，被數學老師反復強調對稱性的重要性，或者讓我們感受到了它的美。這種文化能夠固化在結構中，一代代傳承下去，成為一種信仰。但現在的 AI 似乎就缺乏這種信仰，數據指向哪里，它就往哪里走，它沒有辦法形成自己的信仰。我認為這是一個需要我們去思考的問題，我們該如何讓 AI 形成自己的信仰。- 7-下一個諾獎級的科學研究會是什么？Q：之前2021年復雜系統的研究者獲得了諾貝爾物理學獎，在這次 AI 研究獲得諾貝爾物理學獎之后，我們不禁會想，在未來是否還會有更多超乎我們想象的、與復雜系統和 AI 相關的研究能夠獲得諾貝爾物理學獎？張江：我想先談談我個人的看法。我認為目前的 AI 研究雖然非常火熱，但還相對局限在單體智能上。即便我們有再大的模型，它也只是一個公司擁有的大參數量模型。我認為未來很有可能，這些模型本身會變得更加分布式、更加多體化。為什么這么說呢？因為我觀察到，盡管 AI 發展迅猛，但它仍然無法解決我們在物質世界中面臨的大部分主要問題，比如現在最大的一些問題包括能源危機、氣候危機。整個地球可能會因為溫度升高到一定程度而發生巨大變化，這是非常令人擔憂的。但目前人工智能的發展很少有相關研究朝這個方向努力，所以我認為這個領域有很大的改進空間。比如，今天我開車時發現交通問題非常嚴重。未來，如果自動駕駛技術大規模應用，可能會使每個人的出行變得更加優化，減少很多能源浪費。當然，相關的領域還有很多，包括物流、人們的出行，以及整個物質的生產和消費，這些領域都有巨大的改進空間。未來的 AI 研究是否有可能更加跨學科，幫助我們使整個人類社會的物理、物質、能量的流動變得更加高效？我認為這將具有重大意義，可能是一個諾貝爾獎級別的研究。不知道大家對此有什么看法？尤亦莊：我認為，如果我們實現了常溫超導，這無疑是諾貝爾獎級別的成就。同樣，如果可控核聚變得以實現，那也將是諾貝爾獎的有力候選。從物理學的角度來看，我認為量子信息領域很有可能再次獲得一兩個獎項，因為這個領域的進展確實非常顯著，并且成為了眾多學科的研究焦點。至于量子引力領域，也有可能獲得獎項。比如，今年有幾位科學家，他們提出了引力與量子糾纏和時空對偶的觀念，已經獲得了一個僅次于諾貝爾獎的獎項。所以，我認為在量子力學、量子信息以及對時空認識的深化這些領域，未來很有可能出現更多的諾貝爾獎級別的研究。唐乾元：AI 在尋找共同觀點方面的幫助，我認為是值得獲得和平獎的。還有很多各種各樣的可能性，前段時間我看到一個文章，可能是在《自然》雜志上，講到我們可以利用 AI 來解決矛盾和促進溝通。比如說，當雙方存在分歧時，AI 能夠更便捷地找出雙方觀點中的共同點，幫助我們更好地達成。在這個意義上，AI 的貢獻或許可以獲得和平獎的提名。尤亦莊：那 GPT 完全值得諾貝爾文學獎了。問答環節Q：AI 是否能解釋 complexity？張江：目前關于復雜性的研究還相對較少，因為現在基本上我們不需要深入理解復雜性是什么，AI 的風格就是直接干掉。歷史上關于復雜性的定量定義不下二十多種，大家對此爭論不休。但有一個共同點是，復雜性與信息、熱力學以及統計物理等領域密切相關。由此可見，復雜性本身既立足于信息計算領域，又與物理和統計學緊密相關，因此它與 AI 的關系也極為密切。Q：既然大模型是對勢函數的構建，我們能不能把訓練之后的勢函數提取出來，對 AI 進行解釋？尤亦莊：這是一個挺不錯的思路。但是大模型中的參數太多了，很多時候我們并不清楚它是如何得出答案的。在這方面，人們已經有了一些思考。比如我以前參與合作的項目中，我們提出了一個想法：或許可以用第二個 AI 來分析第一個 AI 的思考過程。第一個 AI，我們稱之為任務 AI，它的任務是處理數據，只需要完成從數據 A 到數據 B 的轉換任務。它在訓練過程中會形成自己的神經網絡參數，這些參數以及神經網絡的神經元活動本身也可以作為訓練數據，用來訓練第二個 AI，以學習第一個 AI 的思考方式。比如，第二個 AI 可以嘗試對第一個 AI 的神經元數據進行壓縮或表示學習等。你可以想象，這個過程可以不斷地嵌套，就像套娃一樣，第二個 AI 可以再嵌套第三個 AI。所以我認為，在當前的 AI 領域，我們開始看到一些將小 AI 嵌套在大 AI 模型中運作的工作，這可能是未來發展的一個趨勢。比如最近比較火的序列模型 TTT（Test-Time Training），就是將小的 transformer 嵌入到大的 transformer 中。我認為，用 AI 去分析 AI，而不是靠人來分析 AI，可能是未來提高可解釋性的一個途徑。Sun， Yu， et al. Learning to (learn at test time): Rnns with expressive hidden states.arXiv preprint arXiv:2407.04620(2024). https://arxiv.org/abs/2407.04620?Q：我們觀察到機器學習領域經歷了大數據的規模效應，這種效應使得大型模型得到了訓練。它可能還帶來了推理的規模效應。那么，下一個規模效應會出現在哪個方面呢？會不會是 AI 創造 AI，或者是多個 AI 協同工作？張江：如果我們跳出 AI 這個圈子，從一個非專業人士的角度來看，一個顯著的觀察是它擴展了人機交互的帶寬。傳統上，這個帶寬受限于屏幕、鼠標和鍵盤，非常串行化。但現在，我們有了自然語言處理和多模態交互，這意味著我們可以用各種各樣的方式與計算機進行交互。別忘了，站在機器前的人本身就是一個天然的、超級復雜的智能體，背后隱藏著深奧的東西和大規模的未知。我認為，如果未來還有進一步的發展，很可能就出現在這種人機交互的帶寬上。當帶寬擴展到一定程度，可能會引發某種突變，說不定在某種意義上，心靈感應就會出現。你一個念頭，機器就能捕捉到你的微表情，甚至你都不用說話，你自己可能都沒意識到你的眼睛眨了一下，但機器已經明白了，這時，它可能會為你提供一些服務。我認為這才是真正的未來，而不僅僅是單純地開發機器的能力，這是非常酷的。尤亦莊：我非常贊同這個觀點。我認為我們人類社會的一個重要規模效應就在于此。單個個體的力量是有限的，但我們的社會已經發展出了人類文明，這個文明的持續傳承，才是整個人類社會智能的真正實體所在。我認為 AI 也是如此，AI 的下一個規模效應將體現在 AI 網絡的形成上，即 AI 之間形成一個相互作用的復雜網絡。在這個復雜系統中，隨著 AI 數量 N 趨向于熱力學極限，即數量極大時，AI 將形成一個社會，從個體走向社會化。同時，AI 社會和人類社會將通過人機交互緊密聯系在一起。這種社會規模效應可能是下一個規模效應。張江：補充一點，如果你回顧人工智能的發展歷史，其實非常有趣。它一直在單體智能和多體智能之間循環往復，不斷迭代。早期，比如1956年人工智能學科創立時，目標是讓機器單體具備強大的推理能力。到了八九十年代，圣塔菲學派興起，他們的一個重要貢獻就是轉向多體智能，通過大量智能體的合作來實現突破。現在，隨著深度學模型在單體智能上的突破，未來一定是大規模多體智能合作的時代。我們今天的討論實際上是從物理學開始的。要描述這樣復雜的系統，我們肯定需要更新的統計物理學，需要統計物理學有更多的突破，無論是多模態信息處理的統計物理學，還是多個智能體互動意義上的東西。這里可能還會帶來許多新的問題，這些問題可能會被納入物理學的研究范疇。我們已經看到，機器學習領域中的一些難題，或許統計物理學可以作為一種工具。在我們剛才設想的未來，可能還會有更多的問題出現，統計物理學、復雜系統等各種各樣的工具都可能被應用到這個領域中。閱讀報告全文，請訪問歐米伽研究所的“未來知識庫”https://wx.zsxq.com/group/454854145828未來知識庫是“歐米伽未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。截止到11月25日 ”未來知識庫”精選的100部前沿科技趨勢報告Air Street Capital《2024 年人工智能現狀報告》未來今日研究所：2024 技術趨勢報告 – 廣義計算篇科睿唯安中國科學院 2024 研究前沿熱度指數報告文本到圖像合成：十年回顧《以人為中心的大型語言模型（LLM）研究綜述》經合組織 2024 年數字經濟展望報告加強連通性創新與信任第二版波士頓咨詢 2024 全球經濟體 AI 成熟度矩陣報告理解世界還是預測未來？世界模型的綜合綜述Google Cloud CSA2024 AI 與安全狀況調研報告英國制造商組織 MakeUK2024 英國工業戰略愿景報告從概念到實施花旗銀行 CitiGPS2024 自然環境可持續發展新前沿研究報告國際原子能機構 2024 聚變關鍵要素報告 – 聚變能發展的共同愿景國際可再生能源署 IRENA2024 年全球氣候行動報告Cell: 物理學和化學 、人工智能知識領域的融合智次方 2025 中國 5G 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 移動性，機器人與無人機篇Deepmind：AI 加速科學創新發現的黃金時代報告PitchBookNVCA2024 年第三季度全球風險投資監測報告德科 2024 年未來全球勞動力報告高工咨詢 2024 年協作機器人產業發展藍皮書國際能源署 IEA2024 年全球能源效率報告基因慧基因行業藍皮書 2024 – 2025普華永道 PwC2024 全球經濟犯罪調查英國報告 – 智對風險直面挑戰中國互聯網協會 2024 面向未來網絡的數字孿生城市場景應用白皮書中移智庫 2024 先進感知新技術及新應用白皮書智次方研究院 2025 中國 AIoT 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 人工智能篇國際電聯：邁向衡量數字經濟的通用框架的路線圖聯合國糧食與農業組織：2024 年世界糧食安全和營養狀況大語言模型綜述李飛飛等，AI 智能體：探索多模式交互的前景綜述哈爾濱工業大學 – ChatGPT 調研報告2024《美國核部署戰略報告》最新文件清華大學：AIGC 發展研究 3.0 發布版 b 版OpenAI：2024 年 OpenAI o1 大模型技術報告Verizon2024 年世界支付安全報告皇家學會哲學學報 從復雜系統角度評估人工智能風險復旦大學 大模型 AI 代理的興起和潛力：綜述經合組織 OECD2024 年氣候行動監測報告Wevolver2024 年邊緣人工智能現狀報告 – 探索各行業邊緣 AI 應用動態2024 全球人形機器人產品數據庫報告 – 人形機器人洞察研究 BTIResearch《全球金融穩定報告》 把舵定航 不確定性、人工智能與金融穩定瑞士洛桑聯邦理工學院 《人工智能中的 – 創造力：進展與挑戰》《你所需要知道的理 – 論：人工智能、人類認知與決策》牛津大學最新 53 頁報告世界經濟論壇 新興技術時代的網絡彈性導航：應對復雜挑戰的協作解決方案 2024ADL 理特咨詢 2024 汽車出行未來展望報告2024 中國硬科技創新發展白皮書 – 開辟未來產業新賽道科學時代的大語言模型中的人工智能Gartner2025 年重要戰略技術趨勢報告CBInsights2024 年第三季度全球人工智能投融資狀況報告TrendHunter2025 年全球趨勢報告 – 全行業頂級創新和變革趨勢前瞻天津大學 2024 大模型輕量化技術研究報告歐洲海洋局 2024 導航未來報告將海洋置于更廣泛的地球系統中第六版美國安全與新興技術中心 2024 AI 生成代碼的網絡安全風險研究報告國際原子能機構 2024 年世界聚變展望報告復旦大學 2024 大語言模型的能力邊界與發展思考報告安盛 AXA2024 年氣候與生物多樣性報告氣候過渡計劃路線圖YouGov2024 美國公眾對人工智能 AI 的態度調研報告麥肯錫中國報告：《中國與世界》完整版麥肯錫全球研究所 2024 下一代競技場報告 – 重塑全球經濟的 18 個新興行業領域Project Sid，一個旨在模擬多智能體交互以研究 AI 文明的項目德國研究與創新專家委員會 德國研究創新與科技成果報告2024 年歐洲關鍵產業的科技重塑研究報告智能體專題報告之二 – 智能體時代來臨具身智能有望成為最佳載體ActivateConsulting 2025 年頂級技術和媒體發展趨勢報告蘭德 全球災難風險評估斯坦福李飛飛 《AI agent 綜述》Agent AI 開啟多模態交互新紀元中國聯通研究院 2024 中國生成式人工智能應用與實踐展望白皮書中文版普華永道 2024 第五次工業研究報告邁向彈性可持續和以人為本的未來大成 Dentsons2024 年全球智慧城市與互聯社區智庫年度報告TechUK2024 量子技術挑戰與機遇并存構筑量子韌性的策略與實踐研究報告Emakina 將塑造 2024 年的技術趨勢報告圖靈獎得主 Yann LeCun《機器如何才能達到人類智能水平？》——Yann LeCun， 附 Slides 及視頻華為：2024 鴻蒙生態應用開發白皮書 V3.0（最新版）CASA：2023 第三代半導體產業發展報告大型視覺語言模型中幻覺現象的綜述IEA PVPS：2024 光伏應用趨勢報告（英文版）ABI Research：82 個將會或不會在 2024 年發生的技術趨勢白皮書《美國反無人機系統未來趨勢報告（2024 – 2029 年）》《軍事自主系統：未來之路》美空間智能如何？牛津大學博士論文《深度具身智能體的空間推理與規劃》2024 低空經濟場景白皮書 v1.0戰略與國際研究中心（CSIS）人類地月空間探索的總體狀況研究報告（2024）Artificial Intelligence Review：人工智能與物理學相遇的綜述麥肯錫：全球難題，應對能源轉型的現實問題歐米伽理論，智能科學視野下的萬物理論新探索（研究論文）Gartner 2025 年主要戰略技術趨勢研究報告2024 人工智能國外大模型使用手冊 + 中文大模型使用手冊詳解光刻巨人 ASML 成功之奧妙 – 241015CB Insights：未來變革者：2025 年九大科技趨勢研究報告國際電信聯盟 2023 – 2024 年聯合國人工智能 AI 活動報告《人工智能能力的人類系統集成測試和評估》最新 51 頁，美國防部首席數字和人工智能辦公室（CDAO）2024 瑞典皇家科學院諾貝爾化學獎官方成果介紹報告MHP 2024 全球工業 4.0 晴雨表白皮書世界經濟論壇白皮書《AI 價值洞察：引導人工智能實現人類共同目標》瑞典皇家科學院諾貝爾物理學獎科學背景報告資料AI 智能體的崛起：整合人工智能、區塊鏈技術與量子計算 (研究報告，書）OpenAI o1 評估：AGI 的機遇和挑戰（280 頁）世界知識產權組織：2024 年全球創新指數美國白宮：國家近地天體防御策略與行動計劃上下滑動查看更多