辛頓與李飛飛對談：AI是否具備語言理解和推理能力？

原標題：辛頓與李飛飛對談：AI是否具備語言理解和推理能力？
文章來源：人工智能學家
內容字數：21852字

AI巨擘辛頓與李飛飛：基礎模型、語言理解與邏輯推理

本文節選自杰弗里·辛頓與李飛飛2023年10月在多倫多大學的對話，探討了人工智能基礎模型的特征、語言理解和邏輯推理能力。兩位AI領域的權威專家就ChatGPT的理解能力和思維能力進行了深入交流，觀點存在差異，但都提供了對AI技術現狀和未來趨勢的深刻見解。

1. 基礎模型的兩個關鍵特征

1. **海量數據預訓練:** 基礎模型，例如GPT，需要利用海量數據進行預訓練，這與人類高效的學習能力形成對比。辛頓教授指出，早期認知科學認為神經網絡需要極大量數據才能完成復雜任務，但現在這種觀點已不再流行。通過少樣本學習（few-shot learning）的實驗，基礎模型在學習新任務所需數據量方面甚至超越了人類。

2. **多任務泛化能力:** 李飛飛教授強調了基礎模型最重要的特征是其對多種任務的泛化能力。一個基礎模型可以勝任翻譯、對話、總結等多種任務，甚至擴展到視覺、機器人和視頻等多模態領域。

2. ChatGPT的語言理解能力

1. **理解笑話的能力:** 辛頓教授認為，像PaLM這樣的模型能夠解釋笑話為什么好笑，這表明它們已經具備了一定的理解能力。雖然在講笑話方面仍有不足，但模型在理解方面已經取得了顯著進展。

2. **數據的力量:** 辛頓教授指出，大型語言模型之所以強大，是因為它們能夠利用比任何人都多千萬倍的數據進行訓練。通過復制模型并讓它們分別處理數據子集，再共享梯度，模型能夠高效地學習和共享信息，這遠超人類的知識共享效率。

3. **知識蒸餾:** 人類通過模仿來學習，大型語言模型也通過知識蒸餾（knowledge distillation）來學習和共享知識。然而，神經網絡的知識共享效率遠高于人類，因為它們能夠共享海量數據。

3. ChatGPT的邏輯推理能力

1. **挑戰性問題:** 辛頓教授通過一個關于房間顏色和油漆褪色的例子，以及一個關于兄弟姐妹數量的例子，說明了ChatGPT具備一定的邏輯推理能力。這些例子顯示，ChatGPT能夠理解問題的措辭，并進行相應的邏輯推演，而不僅僅是簡單的詞語預測。

2. **超越語言的智能:** 辛頓教授認為，ChatGPT的理解能力已經超越了語言的界限，進入了智能的范疇。他認為圖靈測試可以用來評估智能，而ChatGPT在某些方面已經通過了圖靈測試。

3. **不同觀點:** 李飛飛教授對ChatGPT是否達到智能范疇持保留意見，但她并未直接反駁辛頓教授的觀點。這反映了學界對人工智能理解和思維能力的持續爭論。

總而言之，辛頓和李飛飛的對話為理解人工智能基礎模型提供了寶貴的視角。雖然關于ChatGPT的理解和思維能力仍存在爭議，但兩位專家都認可了基礎模型在海量數據和多任務泛化能力方面的顯著優勢，并對AI技術的未來發展方向給出了重要的啟示。

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構