大自然的計(jì)算：從伊辛模型到生成學(xué)習(xí)

文章將從統(tǒng)計(jì)物理的視角，從伊辛模型出發(fā)，逐步介紹霍普菲爾德和辛頓的主要貢獻(xiàn)，其中包括Hopfield模型、玻爾茲曼機(jī)、非監(jiān)督學(xué)習(xí)，以及現(xiàn)代生成模型。

原標(biāo)題：大自然的計(jì)算：從伊辛模型到生成學(xué)習(xí)
文章來(lái)源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：25247字

2024年諾貝爾物理學(xué)獎(jiǎng)：統(tǒng)計(jì)物理視角下的深度學(xué)習(xí)

本文回顧了2024年諾貝爾物理學(xué)獎(jiǎng)授予約翰·霍普菲爾德和杰弗里·辛頓的意義，并從統(tǒng)計(jì)物理的視角，以伊辛模型為起點(diǎn)，逐步闡述了他們的主要貢獻(xiàn)，包括Hopfield模型、玻爾茲曼機(jī)、非監(jiān)督學(xué)習(xí)以及現(xiàn)代生成模型。

1. 諾貝爾獎(jiǎng)與生成學(xué)習(xí)

2024年諾貝爾物理學(xué)獎(jiǎng)?lì)C發(fā)給霍普菲爾德和辛頓，表彰他們?cè)谌斯ど窠?jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)領(lǐng)域的奠基性發(fā)現(xiàn)和發(fā)明。頒獎(jiǎng)詞中特別提到了Hopfield網(wǎng)絡(luò)和玻爾茲曼機(jī)，這兩個(gè)模型被視為生成學(xué)習(xí)的開(kāi)端。生成學(xué)習(xí)的目標(biāo)是從無(wú)標(biāo)簽數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)變量的聯(lián)合概率分布，并從中采樣生成新的樣本。這與物理學(xué)中“What I cannot create，I do not understand”的理念相契合。

2. 統(tǒng)計(jì)物理與機(jī)器學(xué)習(xí)的早期互動(dòng)

統(tǒng)計(jì)物理學(xué)長(zhǎng)期研究高維概率分布，例如玻爾茲曼分布，這與機(jī)器學(xué)習(xí)中生成模型面臨的挑戰(zhàn)十分相似。黑白圖片可映射為伊辛模型構(gòu)型，多值數(shù)據(jù)可映射為Potts構(gòu)型，這使得早期生成學(xué)習(xí)受到統(tǒng)計(jì)物理的啟發(fā)。

3. Hopfield模型與玻爾茲曼機(jī)

Hopfield模型是鐵磁伊辛模型的推廣，其耦合參數(shù)由數(shù)據(jù)關(guān)聯(lián)得到。在數(shù)據(jù)量較少時(shí)，存儲(chǔ)的數(shù)據(jù)成為動(dòng)力學(xué)的吸引子。但當(dāng)數(shù)據(jù)量過(guò)多時(shí)，系統(tǒng)會(huì)進(jìn)入自旋玻璃態(tài)，無(wú)法記住任何數(shù)據(jù)。玻爾茲曼機(jī)通過(guò)引入隱變量，增加了模型參數(shù)和表達(dá)能力，但梯度計(jì)算仍然困難。受限玻爾茲曼機(jī)(RBM)通過(guò)去除顯變量和隱變量之間的連接，簡(jiǎn)化了采樣過(guò)程，并通過(guò)對(duì)比散度算法進(jìn)行學(xué)習(xí)。

4. 深度學(xué)的到來(lái)與玻爾茲曼機(jī)的局限

深度玻爾茲曼機(jī)和自編碼器在2006年被提出，但玻爾茲曼機(jī)的發(fā)展很快遇到了瓶頸，主要原因在于配分函數(shù)計(jì)算的困難和高效采樣的難題。2012年AlexNet的成功標(biāo)志著深度學(xué)的到來(lái)，現(xiàn)代生成模型（如自回歸模型、流模型、擴(kuò)散模型）通過(guò)不同的方法解決了玻爾茲曼機(jī)的難題，從而在圖像、視頻和音樂(lè)生成等領(lǐng)域取得了顯著成果。

5. 物理與機(jī)器學(xué)習(xí)的未來(lái)

統(tǒng)計(jì)物理學(xué)在深度學(xué)習(xí)早期發(fā)展中發(fā)揮了重要作用，但并未在深度學(xué)占據(jù)主導(dǎo)地位。未來(lái)，機(jī)器學(xué)習(xí)與先進(jìn)經(jīng)典計(jì)算能力的結(jié)合，以及對(duì)玻恩法則的深入研究，可能會(huì)推動(dòng)生成模型的進(jìn)一步發(fā)展，并解決物理學(xué)領(lǐng)域中的重要問(wèn)題，例如量子多體問(wèn)題和材料計(jì)算等。

總而言之，2024年諾貝爾物理學(xué)獎(jiǎng)表彰了統(tǒng)計(jì)物理與機(jī)器學(xué)習(xí)的早期互動(dòng)，也揭示了物理學(xué)和機(jī)器學(xué)習(xí)在未來(lái)發(fā)展中互相促進(jìn)、共同進(jìn)步的趨勢(shì)。

聯(lián)系作者

文章來(lái)源：人工智能學(xué)家
作者微信：
作者簡(jiǎn)介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)