谷歌最重磅的兩位AI學(xué)者：Jeff Dean與Noam Shazeer四萬字暢談谷歌25年AI歷史

AIGC動(dòng)態(tài)2個(gè)月前發(fā)布 Founder Park

435 0 0

從PageRank到Gemini，一文聊明白。

原標(biāo)題：谷歌最重磅的兩位AI學(xué)者：Jeff Dean與Noam Shazeer四萬字暢談谷歌25年AI歷史
文章來源：Founder Park
內(nèi)容字?jǐn)?shù)：75765字

谷歌Gemini項(xiàng)目深度訪談：Jeff Dean和Noam Shazeer對(duì)話AI未來

本文深度訪談了谷歌首席科學(xué)家Jeff Dean和Transformer發(fā)明者之一Noam Shazeer，兩位共同執(zhí)掌谷歌最前沿的AI項(xiàng)目Gemini。訪談回顧了他們在谷歌25年的合作歷程，從PageRank、MapReduce到Transformer、MoE，以及最新的Gemini，并展望了通往通用人工智能（AGI）的未來。

1. 谷歌早期與發(fā)展歷程

訪談從谷歌早期25人的規(guī)模開始，兩位回憶了公司快速擴(kuò)張的歷程，以及如何從早期對(duì)所有項(xiàng)目的了解，逐漸過渡到對(duì)公司整體戰(zhàn)略方向的把握。Jeff Dean回憶了他主動(dòng)聯(lián)系谷歌，而Noam Shazeer則是在一次招聘會(huì)上了解到谷歌，并被其指數(shù)級(jí)增長的搜索量吸引。

2. 算力與算法的協(xié)同進(jìn)化

兩位探討了摩爾定律對(duì)AI發(fā)展的影響，指出摩爾定律的放緩以及專用計(jì)算設(shè)備（如TPU）的興起。他們認(rèn)為算法的發(fā)展一直緊隨硬件的進(jìn)步，深度學(xué)習(xí)的興起正是因?yàn)樗阈g(shù)運(yùn)算成本降低，而數(shù)據(jù)移動(dòng)成本相對(duì)較高。他們預(yù)測，如果內(nèi)存成本下降速度超過算術(shù)運(yùn)算，AI的發(fā)展方向?qū)l(fā)生根本性轉(zhuǎn)變。

3. TPU的演進(jìn)與量化技術(shù)

訪談深入探討了TPU的演進(jìn)歷程，以及量化技術(shù)在提高AI計(jì)算效率方面的作用。他們指出，模型量化精度不斷降低，從早期的8位整數(shù)到現(xiàn)在的INT4、FP4甚至1位，這需要算法和硬件的協(xié)同設(shè)計(jì)。

4. Transformer的誕生與大型語言模型

兩位回顧了Transformer架構(gòu)的誕生以及大型語言模型的發(fā)展。他們提到，早期的N-gram模型以及拼寫糾錯(cuò)系統(tǒng)已經(jīng)展現(xiàn)出大型語言模型的潛力，但當(dāng)時(shí)并沒有意識(shí)到其對(duì)AI的性意義。他們認(rèn)為，大型語言模型的成功在于其能夠從海量數(shù)據(jù)中進(jìn)行自監(jiān)督學(xué)習(xí)，并能夠解決“預(yù)測下一個(gè)詞”這一看似簡單卻蘊(yùn)含無限可能的問題。

5. AI研究的突破與AGI的挑戰(zhàn)

兩位討論了AI研究中的關(guān)鍵突破時(shí)刻，以及AGI研發(fā)的挑戰(zhàn)與機(jī)遇。他們認(rèn)為，許多想法都“部分存在于空氣中”，需要團(tuán)隊(duì)合作和創(chuàng)新才能實(shí)現(xiàn)突破。他們還探討了如何利用AI來組織世界信息，并根據(jù)用戶的需求創(chuàng)建新的信息，以及如何解決AGI開發(fā)中存在的安全性和對(duì)齊問題。

6. 未來AI研究員的工作方式

兩位預(yù)測，未來的AI研究員將能夠利用強(qiáng)大的AI模型來輔助研究工作，例如自動(dòng)生成實(shí)驗(yàn)代碼，提高研究效率。他們認(rèn)為，這將極大地提高研究人員的生產(chǎn)力，并可能導(dǎo)致AI研究的加速發(fā)展。

7. 數(shù)據(jù)中心規(guī)劃與持續(xù)學(xué)習(xí)

兩位探討了未來AI發(fā)展對(duì)數(shù)據(jù)中心規(guī)劃的影響，以及持續(xù)學(xué)習(xí)的重要性。他們認(rèn)為，推理時(shí)間計(jì)算將成為一個(gè)重要的計(jì)算類別，需要更專業(yè)化的硬件和算法。他們還探討了模塊化模型架構(gòu)，以及如何通過持續(xù)學(xué)習(xí)和模型蒸餾來不斷改進(jìn)模型的能力。

8. AGI的潛在風(fēng)險(xiǎn)與應(yīng)對(duì)策略

兩位最后討論了AGI的潛在風(fēng)險(xiǎn)，例如模型輸出的安全性以及與人類價(jià)值觀對(duì)齊的問題。他們認(rèn)為，需要采取各種措施來確保AGI的安全性和可靠性，并引導(dǎo)其發(fā)展方向，使其造福人類。

總而言之，此次訪談提供了對(duì)AI未來發(fā)展方向的深刻洞察，兩位專家對(duì)算力、算法、模型架構(gòu)以及AGI的未來發(fā)展都給出了獨(dú)到的見解，并強(qiáng)調(diào)了硬件和算法協(xié)同設(shè)計(jì)的重要性以及持續(xù)學(xué)習(xí)在未來AI發(fā)展中的關(guān)鍵作用。