奇月 發自 凹非寺量子位 | 公眾號 QbitAI2024年諾貝爾物理學獎的兩位獲獎者John Hopfield和Geoffrey Hinton最近在斯德哥爾摩大學發表了最新的演講。現場的氛圍非常熱烈！看到Hopfield教授即使借助拐杖也親自到達現場發表了演講，Hinton教授也忍著腰痛專程飛到瑞典，讓觀眾們非常敬佩。在這次活動中，John Hopfield教授的演講主題是“物理學是一種觀點”，講述他個人的科研經歷和做科研的思考模式。他坦白了很多關于科研和對物理的想法：如何選擇問題是科研成果的關鍵因素大腦是如何產生思想的，這對我來說是人類最深奧的問題我認為物理學有助于理解人類和世界Geoffrey Hinton教授則用通俗易懂的方式講述了Hopfield網絡和玻爾茲曼機器的原理與發展，全程沒有用一個方程式。當我們最終了解了大腦是如何學習的時候，我相信睡眠的作用一定是非常重要的，對此我非常樂觀兩位教授結束演講時，臺下的觀眾也是忍不住都站起來向他們鼓掌致敬。以下是現場演講內容，在不改變原意的情況下，量子位對部分篇幅做了調整。John Hopfield：物理學是一種觀點約翰·霍普菲爾德于1933年出生于芝加哥，1954年在威廉·莫爾學院獲得第一個學位，1958年在康奈爾大學獲得博士學位。1964年，他被任命為普林斯頓大學物理學教授，1980年成為加州理工學院化學和生物學教授，之后他回到普林斯頓大學，目前是分子生物學名譽教授。（以下為John Hopfield教授發言）我的第一份全職工作是在比爾電話公司發明晶體管的實驗室，我加入了一個六人小組。初入實驗室時，我在新辦公室打開書籍期刊，參觀庫存室獲取文具后，思考著下一步工作。在科研中，多數人常按部就班，很少深入思考研究方向的選擇，而這恰是科研成果的關鍵因素。我在科研中撰寫了40余篇論文，幾年前形成的工作基礎最終發展成霍普菲爾德模型，相關觀點源于對隨機的分析。我成長于物理學家家庭，自幼受物理學觀念熏陶，喜歡探索事物原理，如拆解自行車、進行化學實驗等，這讓我能夠理解復雜系統運作。上高中時，化學老非老師常出色，物理老師卻對電磁學原理理解不足，這影響了我大學專業選擇，但最終我決定在斯沃斯莫爾學院專注物理。進入物理學研究生院后，我在康奈爾大學學習，期間與Albert Overhauser合作，從他的研究列表中選定晶體中激子輻射壽命相關問題，開啟研究。獲得博士學位后，我在理論小組任職，后結識化學家David G. Thomas，成立理論實驗聯盟，取得成果并獲奧利弗里·巴克利固體物理學獎。之后，我在研究中遇到瓶頸，前往劍橋大學尋找新方向，回普林斯頓后擔任半導體組顧問，接觸到血紅蛋白相關實驗，為我從凝聚態物理轉向生物物理提供契機，我也受Linus Pauling觀點啟發研究蛋白質合成問題并取得成果。1974年論文影響我對生物學問題的研究思路，促使我思考神經元網絡特性等。1977年在哥本哈根舉辦研討會后，我尋求跨學科突破，受邀參加神經科學會議，雖然當時一無所知，后來加入項目獲得神經生物學靈感。1979年，我轉任化學和生物學教授，發現了學科聯系，提出新計算見解并撰寫論文，該論文推動了相關領域發展。后來，我發現霍普菲爾德模型網絡問題，2015年與他人合作提出密集聯想記憶模型，期望推動人工智能發展。我非常尊重各個領域的專家，積極參與跨學科互動，我認為物理學有助于理解人類與宇宙。Hinton：Hopfield網絡與Boltzmann機的發展杰弗里·辛頓，1947年生于英國倫敦，獲劍橋大學實驗心理學博士學位，曾在愛丁堡大學從事人工智能博士后研究，在多所大學任職，現從事學術研究，并在谷歌公司任職。（以下為Geoffrey Hinton教授發言）今天我將不用任何方程式，向普通觀眾講解Hopfield網絡。先來看一個二元神經元版本的小霍普菲爾德網絡，其神經元間有對稱加權連接，網絡全局狀態是配置，配置有優良性（單元對權重總和），能量是優良性相反數，網絡會穩定于能量最小值。霍普菲爾德提出用能量最小值對應記憶，通過二元決策規則清理不完整記憶，實現內容可尋址內存。特里·西諾斯基和我提出用網絡構建感官輸入解釋，網絡含可見和隱藏神經元，可見接收感官輸入（如二進制圖像），隱藏構建解釋，能量代表解釋好壞程度，我們需要低能量解釋。以線條畫為例，有不同三維解釋，我們要讓網絡給出解釋。先將線條轉化為線條神經元激活，線條神經元與三維邊緣神經元連接，考慮感知光學因素讓邊緣神經元相互抑制，還要依據圖像線條連接原則建立連接，希望通過設置連接強度使網絡解決兩種替代解釋。這產生兩個問題：一是避免陷入局部最優的搜索問題；二是神經網絡自動學習連接的問題。對于搜索問題，我們通過使神經元有噪聲解決，有噪聲神經元狀態是二元的但決策具有概率性。用隱藏神經元解釋二進制圖像時，在可見單元固定圖像，隨機選隱藏神經元根據輸入決定其狀態，持續操作使系統達熱平衡，此時隱藏神經元狀態是平衡解釋，網絡學習正確權重使低能量狀態對應更好的解釋，熱平衡是系統穩定于概率分布（波爾茲曼分布），低能量配置概率大。玻爾茲曼機學習目的是使網絡生成的圖像類似它感知到的真實圖像，有簡單學習算法，含喚醒和睡眠階段。喚醒階段固定圖像于可見單元，讓隱藏單元達熱平衡后調整連接權重，睡眠階段類似做夢更新神經元達熱平衡后反向調整權重，該算法平均上能讓網絡生成圖像過程類似感知圖像，涉及對數似然梯度概念，通過改變權重使網絡關注wake階段看到的數據。但玻爾茲曼機存在問題，權重變大時熱平衡過程慢，雖然想法很好但算法太簡單，可以做復雜的事情但速度受限。后來我發現了受限玻爾茲曼機（RBM），其隱藏單元不相互連接，喚醒階段更新隱藏神經元更簡單，睡眠階段有捷徑雖不完全正確但實踐有效。Netflix公司就是用受限玻爾茲曼機結合其他方法推薦電影。為構建特征檢測器層可堆疊RBM，將前一個RBM隱藏單元活動模式當數據給下一個RBM，以此捕捉復雜相關性學習多組權重，堆疊后視為前饋網絡可進行監督學習，這樣初始化網絡學習更快。因為網絡已學習了數據結構，后面用于學事物名稱相對容易，如識別物體方面。One More Thing就在演講視頻發布不久后，你懂的，LSTM之父又來搞事情了。知名計算機科學家Jürgen Schmidhuber發表推文稱，Hopfield & Hinton的2024年諾貝爾物理學獎是抄襲得來的。Jürgen聲稱，這兩位教授重新發表了烏克蘭研究者Ivakhnenko和日本研究者Amari在20世紀60年代和1970年代開發的方法以及其他技術，且沒有引用原作者。目前這一帖子在X上已經獲得了2.1k點贊、超過44萬次瀏覽。有網友表示如果事情是真的，那將比剽竊更糟糕：不過也有網友覺得這是Jürgen吃不到葡萄就說葡萄酸的心理：Jürgen還發表了一個詳細的技術報告，列出了兩位諾貝爾獲獎者工作的存疑之處，感興趣的朋友可以點擊參考鏈接2進一步閱讀。參考鏈接：[1]https://www.youtube.com/watch?v=lPIVl5eBPh8[2]https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html#DLP—完—點這里?關注我，記得標星哦～一鍵三連「分享」、「點贊」和「在看」科技前沿進展日日相見 ~