從PageRank到Gemini，一文聊明白。

原標題：谷歌最重磅的兩位AI學者：Jeff Dean與Noam Shazeer四萬字暢談谷歌25年AI歷史
文章來源：Founder Park
內容字數：75765字

谷歌Gemini項目深度訪談：Jeff Dean和Noam Shazeer對話AI未來

本文深度訪談了谷歌首席科學家Jeff Dean和Transformer發明者之一Noam Shazeer，兩位共同執掌谷歌最前沿的AI項目Gemini。訪談回顧了他們在谷歌25年的合作歷程，從PageRank、MapReduce到Transformer、MoE，以及最新的Gemini，并展望了通往通用人工智能（AGI）的未來。

1. 谷歌早期與發展歷程

訪談從谷歌早期25人的規模開始，兩位回憶了公司快速擴張的歷程，以及如何從早期對所有項目的了解，逐漸過渡到對公司整體戰略方向的把握。Jeff Dean回憶了他主動聯系谷歌，而Noam Shazeer則是在一次招聘會上了解到谷歌，并被其指數級增長的搜索量吸引。

2. 算力與算法的協同進化

兩位探討了摩爾定律對AI發展的影響，指出摩爾定律的放緩以及專用計算設備（如TPU）的興起。他們認為算法的發展一直緊隨硬件的進步，深度學習的興起正是因為算術運算成本降低，而數據移動成本相對較高。他們預測，如果內存成本下降速度超過算術運算，AI的發展方向將發生根本性轉變。

3. TPU的演進與量化技術

訪談深入探討了TPU的演進歷程，以及量化技術在提高AI計算效率方面的作用。他們指出，模型量化精度不斷降低，從早期的8位整數到現在的INT4、FP4甚至1位，這需要算法和硬件的協同設計。

4. Transformer的誕生與大型語言模型

兩位回顧了Transformer架構的誕生以及大型語言模型的發展。他們提到，早期的N-gram模型以及拼寫糾錯系統已經展現出大型語言模型的潛力，但當時并沒有意識到其對AI的性意義。他們認為，大型語言模型的成功在于其能夠從海量數據中進行自監督學習，并能夠解決“預測下一個詞”這一看似簡單卻蘊含無限可能的問題。

5. AI研究的突破與AGI的挑戰

兩位討論了AI研究中的關鍵突破時刻，以及AGI研發的挑戰與機遇。他們認為，許多想法都“部分存在于空氣中”，需要團隊合作和創新才能實現突破。他們還探討了如何利用AI來組織世界信息，并根據用戶的需求創建新的信息，以及如何解決AGI開發中存在的安全性和對齊問題。

6. 未來AI研究員的工作方式

兩位預測，未來的AI研究員將能夠利用強大的AI模型來輔助研究工作，例如自動生成實驗代碼，提高研究效率。他們認為，這將極大地提高研究人員的生產力，并可能導致AI研究的加速發展。

7. 數據中心規劃與持續學習

兩位探討了未來AI發展對數據中心規劃的影響，以及持續學習的重要性。他們認為，推理時間計算將成為一個重要的計算類別，需要更專業化的硬件和算法。他們還探討了模塊化模型架構，以及如何通過持續學習和模型蒸餾來不斷改進模型的能力。

8. AGI的潛在風險與應對策略

兩位最后討論了AGI的潛在風險，例如模型輸出的安全性以及與人類價值觀對齊的問題。他們認為，需要采取各種措施來確保AGI的安全性和可靠性，并引導其發展方向，使其造福人類。

總而言之，此次訪談提供了對AI未來發展方向的深刻洞察，兩位專家對算力、算法、模型架構以及AGI的未來發展都給出了獨到的見解，并強調了硬件和算法協同設計的重要性以及持續學習在未來AI發展中的關鍵作用。

聯系作者

文章來源：Founder Park
作者微信：
作者簡介：來自極客公園，專注與科技創業者聊「真問題」。