谷歌AI掌門人Jeff Dean對話Transformer作者：AI提速300%，1000萬倍工程師要來了

原標(biāo)題：谷歌AI掌門人Jeff Dean對話Transformer作者：AI提速300%，1000萬倍工程師要來了
文章來源：新智元
內(nèi)容字?jǐn)?shù)：7247字

谷歌首席科學(xué)家Jeff Dean與Transformer之父Noam Shazeer深度訪談：AI的未來與挑戰(zhàn)

本文總結(jié)了谷歌首席科學(xué)家Jeff Dean和Transformer論文作者Noam Shazeer的深度訪談要點(diǎn)，探討了AI領(lǐng)域的突破性進(jìn)展、未來方向以及潛在風(fēng)險。

1. 低精度計(jì)算：模型速度提升三倍

   訪談中，Jeff Dean談到摩爾定律放緩，專用硬件如TPU和GPU的重要性日益凸顯。低精度計(jì)算成為提升模型速度的關(guān)鍵，例如使用INT4或FP4代替?zhèn)鹘y(tǒng)的64位浮點(diǎn)數(shù)，可以使模型速度提升三倍。雖然量化模型略微繁瑣，但速度提升帶來的效率優(yōu)勢值得付出努力。

2. 擴(kuò)展神經(jīng)網(wǎng)絡(luò)的有效性：早期突破與“貓神經(jīng)元”

   Jeff Dean回憶了早期在Brain團(tuán)隊(duì)利用大量CPU訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的經(jīng)歷。通過無監(jiān)督學(xué)習(xí)，一個神經(jīng)元竟然能夠?qū)ω埖膱D像產(chǎn)生反應(yīng)，這證明了擴(kuò)展神經(jīng)網(wǎng)絡(luò)的有效性，并為后續(xù)的ImageNet挑戰(zhàn)賽取得優(yōu)異成績奠定了基礎(chǔ)。這一經(jīng)驗(yàn)讓他堅(jiān)信擴(kuò)大神經(jīng)網(wǎng)絡(luò)規(guī)模是推動AI進(jìn)步的重要方向。

3. 處理萬億級Token：長上下文挑戰(zhàn)與機(jī)遇

   面對長上下文問題，Jeff Dean認(rèn)為未來AI模型能夠處理萬億級Token，這將帶來性的變化。模型可以訪問并處理整個互聯(lián)網(wǎng)的信息，甚至整合用戶的個人信息來輔助完成任務(wù)。但這需要克服樸素注意力算法的二次方復(fù)雜度，需要開發(fā)高效的算法近似方法。

4. AI安全：警惕“百萬個的Jeff”

   訪談中也探討了AI安全問題。如果AI系統(tǒng)偏離預(yù)設(shè)目標(biāo)，并擁有超越人類的編程能力，其潛在風(fēng)險不容忽視。Jeff Dean認(rèn)為，雖然不至于過度擔(dān)憂，但需要警惕AI被惡意利用的可能性，并在模型設(shè)計(jì)中加入安全防護(hù)措施。

5. 1000萬倍工程師：AI生產(chǎn)力

   Jeff Dean預(yù)測，AI助手等應(yīng)用將迎來式增長，這將對計(jì)算資源提出巨大挑戰(zhàn)。同時，他設(shè)想如果AI能提升生產(chǎn)力，企業(yè)是否愿意投入巨資實(shí)現(xiàn)“1000萬倍工程師”的生產(chǎn)力躍升？這展現(xiàn)了AI在提升生產(chǎn)力方面的巨大潛力。

總而言之，Jeff Dean和Noam Shazeer的訪談為我們展現(xiàn)了AI技術(shù)發(fā)展的廣闊前景，同時也提醒我們需謹(jǐn)慎對待潛在風(fēng)險，在技術(shù)進(jìn)步的同時，關(guān)注AI安全和倫理問題，確保AI技術(shù)造福人類。

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。