原標題：谷歌AI掌門人Jeff Dean對話Transformer作者：AI提速300%，1000萬倍工程師要來了
文章來源：新智元
內容字數：7247字

谷歌首席科學家Jeff Dean與Transformer之父Noam Shazeer深度訪談：AI的未來與挑戰

本文總結了谷歌首席科學家Jeff Dean和Transformer論文作者Noam Shazeer的深度訪談要點，探討了AI領域的突破性進展、未來方向以及潛在風險。

1. 低精度計算：模型速度提升三倍

   訪談中，Jeff Dean談到摩爾定律放緩，專用硬件如TPU和GPU的重要性日益凸顯。低精度計算成為提升模型速度的關鍵，例如使用INT4或FP4代替傳統的64位浮點數，可以使模型速度提升三倍。雖然量化模型略微繁瑣，但速度提升帶來的效率優勢值得付出努力。

2. 擴展神經網絡的有效性：早期突破與“貓神經元”

   Jeff Dean回憶了早期在Brain團隊利用大量CPU訓練大型神經網絡的經歷。通過無監督學習，一個神經元竟然能夠對貓的圖像產生反應，這證明了擴展神經網絡的有效性，并為后續的ImageNet挑戰賽取得優異成績奠定了基礎。這一經驗讓他堅信擴大神經網絡規模是推動AI進步的重要方向。

3. 處理萬億級Token：長上下文挑戰與機遇

   面對長上下文問題，Jeff Dean認為未來AI模型能夠處理萬億級Token，這將帶來性的變化。模型可以訪問并處理整個互聯網的信息，甚至整合用戶的個人信息來輔助完成任務。但這需要克服樸素注意力算法的二次方復雜度，需要開發高效的算法近似方法。

4. AI安全：警惕“百萬個的Jeff”

   訪談中也探討了AI安全問題。如果AI系統偏離預設目標，并擁有超越人類的編程能力，其潛在風險不容忽視。Jeff Dean認為，雖然不至于過度擔憂，但需要警惕AI被惡意利用的可能性，并在模型設計中加入安全防護措施。

5. 1000萬倍工程師：AI生產力

   Jeff Dean預測，AI助手等應用將迎來式增長，這將對計算資源提出巨大挑戰。同時，他設想如果AI能提升生產力，企業是否愿意投入巨資實現“1000萬倍工程師”的生產力躍升？這展現了AI在提升生產力方面的巨大潛力。

總而言之，Jeff Dean和Noam Shazeer的訪談為我們展現了AI技術發展的廣闊前景，同時也提醒我們需謹慎對待潛在風險，在技術進步的同時，關注AI安全和倫理問題，確保AI技術造福人類。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。