谷歌 AlphaChip 論文再被質(zhì)疑，DeepMind 駁斥都沒做與訓(xùn)練，順帶還揪出了“內(nèi)鬼”？

作者 | Anna Goldie、Azalia Mirhoseini、Jeff Dean
譯者 | 核子可樂
策劃 | 褚杏娟 2020 年，DeepMind 發(fā)布了一種能夠生成超越人類能力的深度強(qiáng)化學(xué)習(xí)芯片布局設(shè)計(jì)方法，隨后在《自然》雜志上發(fā)表了該方法，并通過 GitHub 開源了相關(guān)成果。AlphaChip 項(xiàng)目激發(fā)了芯片設(shè)計(jì) AI 領(lǐng)域的大量后續(xù)工作，并已在 Alphabet 最先進(jìn)的芯片中得到應(yīng)用，同時(shí)得到外部芯片制造商的支持和擴(kuò)展。不過之后，業(yè)內(nèi)也持續(xù)有對(duì) AlphaChip 的質(zhì)疑。在 2024 年 11 月的《ACM 通訊》雜志上，Synopsys 架構(gòu)師 Igor Markov 也發(fā)表了對(duì)三篇論文的元分析，主要包括 AlphaChip 原論文、Cheng 等人投稿到 ISPD 的論文以及 Markov 未發(fā)表的論文，總結(jié)了人們對(duì) AlphaChip 的各種質(zhì)疑。始末如下：2020 年 4 月：發(fā)布 AlphaChip 《自然》論文的 arXiv 預(yù)印本。2020 年 8 月：在 TPU v5e 中流片了 10 種由 AlphaChip 生成的布局。2021 年 6 月：在《自然》雜志上發(fā)表論文。2021 年 9 月：在 TPU v5p 中流片了 15 種由 AlphaChip 生成的布局。2022 年 1 月至 2022 年 7 月：在確保遵守出口管制限制并消除內(nèi)部依賴關(guān)系之后，DeepMind 開源了 AlphaChip。期間谷歌中另一支團(tuán)隊(duì)復(fù)現(xiàn)了 AlphaChip 在《自然》雜志上所發(fā)表論文中的結(jié)果。2022 年 2 月：谷歌內(nèi)部的委員會(huì)拒絕發(fā)表 Markov 等人的論文，因?yàn)閿?shù)據(jù)并不支持其主張和結(jié)論。2022 年 10 月：Trillium（最新發(fā)布的 TPU）中流片了 25 種由 AlphaChip 生成的布局。2023 年 2 月：Cheng 等人在 arXiv 上發(fā)帖，聲稱對(duì) AlphaChip 的方法進(jìn)行了“大規(guī)模重新實(shí)現(xiàn)”。2023 年 6 月：Markov 在 arXiv 上發(fā)布了他的“元分析”預(yù)印本論文。2023 年 9 月：《自然》雜志發(fā)布編者注，稱他們正在調(diào)查 DeepMind 的論文，并啟動(dòng)了第二輪同行評(píng)審流程。2024 年 3 月：谷歌 Axion 處理器（基于 Arm 架構(gòu)的 CPU）采用了 7 種由 AlphaChip 生成的布局。2024 年 4 月：《自然》雜志完成了調(diào)查與出版后審查，并完全支持 DeepMind 的成果，結(jié)論是“最好的解決方式是以附錄形式發(fā)布論文更新。”2024 年 9 月：聯(lián)發(fā)科高級(jí)副總裁宣布，他們擴(kuò)展了 AlphaChip 以加速其最先進(jìn)芯片的開發(fā)。2024 年 11 月：Markov 重新發(fā)表了他的“元分析”文章，但此前在《自然》雜志的調(diào)查和二次同行評(píng)審過程中，他提出的擔(dān)憂被發(fā)現(xiàn)毫無根據(jù)。谷歌 DeepMind 三位高級(jí)研究員 Anna Goldie、Azalia Mirhoseini 和 Jeff Dean 聯(lián)合發(fā)文，針對(duì)上述論文提出的質(zhì)疑做出了回應(yīng)。DeepMind 指出，Cheng 等人受邀發(fā)表的 ISPD 論文沒有遵循標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)實(shí)踐，其中采用的強(qiáng)化學(xué)習(xí)方法與實(shí)驗(yàn)設(shè)置同 AlphaChip 在《自然》論文中的描述存在很大差異。此外，ISPD 的受邀論文未經(jīng)同行評(píng)審。“元分析”論文是一份未發(fā)表的 PDF，未列出作者名單，文章描述稱其為“谷歌二號(hào)團(tuán)隊(duì)”進(jìn)行的“單獨(dú)評(píng)估”，但實(shí)際上是由 Markov 本人參與并共同撰寫，且這一事實(shí)在文章中并未披露。這篇文章并不符合谷歌的出版標(biāo)準(zhǔn)。2022 年，谷歌委員會(huì)對(duì)其進(jìn)行了審查，認(rèn)定“草稿中的主張和結(jié)論并未得到實(shí)驗(yàn)科學(xué)的支持”，且“由于 AlphaChip 在其原始數(shù)據(jù)集上的結(jié)果確實(shí)可復(fù)現(xiàn)”，因此 [Markov 等人] 的強(qiáng)化學(xué)習(xí)評(píng)估結(jié)果受到質(zhì)疑。DeepMind 向該委員會(huì)提供了一行腳本，該腳本生成的強(qiáng)化學(xué)習(xí)結(jié)果明顯優(yōu)于 Markov 等人報(bào)告的結(jié)果，也優(yōu)于他們“更強(qiáng)”的模擬退火基準(zhǔn)性能。DeepMind 三人稱仍不清楚 Markov 及其他聯(lián)合作者如何得出論文中的數(shù)字。Markov 的“元分析”也讓 DeepMind 產(chǎn)生了新的擔(dān)憂，即谷歌內(nèi)部存在一位“告密者”。但這位“告密者”向谷歌調(diào)查員承認(rèn)，他并無確切理由懷疑 AlphaChip 論文存在欺詐行為：他曾表示懷疑 Goldie 和 Mirhoseini 的研究成果中存在欺詐行為，但表示沒有證據(jù)支持他的這種懷疑。“在他的‘元分析’中，Markov 在沒有證據(jù)的情況下對(duì) DeepMind 實(shí)際上并不存在的‘欺詐與學(xué)術(shù)不端行為’做出了瘋狂推測(cè)。Markov 的大部分批評(píng)方式可以總結(jié)為：在他看來，DeepMind 的方法不應(yīng)該起效，因此一定不會(huì)起效，而任何指向相反結(jié)論的證據(jù)都屬于欺詐。《自然》雜志調(diào)查了 Markov 提出的質(zhì)疑，發(fā)現(xiàn)其完全沒有根據(jù)，并在調(diào)查結(jié)束后發(fā)表一份附錄來為我們的工作正名。”DeepMind 表示。Markov 指出，“在這篇論文中，我們發(fā)現(xiàn)機(jī)器學(xué)習(xí)中存在各種可疑的做法，包括不可復(fù)現(xiàn)的研究實(shí)踐、刻意挑選結(jié)果、誤報(bào)以及可能的數(shù)據(jù)污染（泄漏）。”對(duì)此，DeepMind 表示：我們不存在任何此類行為，也沒有任何其他形式的學(xué)術(shù)不端舉動(dòng)，Markov 亦沒有為這些指控提供任何證據(jù)。Markov 在論文中沒有對(duì)所謂“刻意挑選結(jié)果”做出任何具體描述，更遑論列舉切實(shí)證據(jù)。他亦沒有對(duì)所謂“誤報(bào)”做出明確解釋，或者提供證據(jù)。文中沒有提供任何數(shù)據(jù)污染（泄漏）的證據(jù)，只表示這種情形可能有助于獲得更好的研究結(jié)果。這些指控當(dāng)中，相當(dāng)一部分在正文中根本見不到，卻在“結(jié)論”部分突然冒了出來。順帶一提，Cheng 等人在腳注部分也提到，在其針對(duì)主數(shù)據(jù)表的 6 個(gè)測(cè)試案例中，RePlAce 在 2 項(xiàng)測(cè)試中無法得出任何結(jié)果。DeepMind 表示，Markov 在他的“元分析”文章中完全沒有提及他本人就是這兩項(xiàng)“單獨(dú)評(píng)估”之一的作者。他還在參考文獻(xiàn)部分的論文作者中省略了自己的名字，只鏈接到一份匿名 PDF。當(dāng)在 LinkedIn 上被問及時(shí)，Markov 先是承認(rèn)了自己的作者身份，但后來又刪除了該帖子。Markov 也沒有披露他在 Synopsys 公司擔(dān)任高級(jí)職務(wù)的情況，該公司授權(quán)發(fā)布多種與 DeepMind 開源方案相競(jìng)爭(zhēng)的商業(yè)工具。“請(qǐng)注意，Markov 的引文與我們的論文無關(guān)，這可能誤導(dǎo)讀者認(rèn)為原始文章為其觀點(diǎn)提供了佐證。”DeepMind 進(jìn)一步表示，“為了詆毀我們的 TPU 部署，Markov 還暗示谷歌是在故意‘護(hù)犢子’，即允許在 TPU 中使用劣質(zhì)的 AlphaCip 生成布局來支持我們的研究發(fā)現(xiàn)。這既不符合事實(shí)，也十分荒謬。谷歌永遠(yuǎn)更關(guān)心 TPU 設(shè)計(jì)的效率——畢竟這是一個(gè)耗資數(shù)十億美元的項(xiàng)目，也是 Google Cloud 以及多個(gè) AI 項(xiàng)目的核心，重要程度遠(yuǎn)超一篇研究論文。”DeepMind 總結(jié)道，簡(jiǎn)而言之，Markov 的論文未包含原始數(shù)據(jù)，僅僅是對(duì)兩篇論文的“元分析”。第一篇論文未列出作者名單（盡管 Markov 本人就是作者之一）且從未發(fā)表過，提出的主張既沒有科學(xué)數(shù)據(jù)支持也無法復(fù)現(xiàn)。第二篇由 Cheng 等人發(fā)表的論文，是 Markov“元分析”中唯一的實(shí)質(zhì)性內(nèi)容，因此我們?cè)诤笪闹袑⒅饕懻摯宋穆暦Q在復(fù)現(xiàn)我們方法時(shí)遇到的重要問題。“事實(shí)上，我們投入了很長(zhǎng)時(shí)間才讓 TPU 團(tuán)隊(duì)對(duì)我們的成果建立起足夠的信任，讓他們使用我們的布局。盡管 AlphaChip 在指標(biāo)層面的表現(xiàn)已經(jīng)超越了人類專家，但我們理解 TPU 團(tuán)隊(duì)的擔(dān)憂——他們的工作是按時(shí)交付 TPU 芯片，并保證成果盡可能高效可靠，因此不想承擔(dān)任何非必要的風(fēng)險(xiǎn)。AlphaChip 已被部署在 Alphabet 的其他硬件當(dāng)中，但屬于商業(yè)機(jī)密因此目前無法披露。”DeepMind 研究員稱。下面是 DeepMind 詳細(xì)指出的質(zhì)疑論文中存在的問題。
Cheng 等人在成果復(fù)現(xiàn)過程中的錯(cuò)誤
Cheng 等人聲稱在新的測(cè)試用例上，將 DeepMind 的方法與其他方法進(jìn)行了比較。DeepMind 研究院指出，Cheng 等人并未嚴(yán)格按照《自然》雜志上描述的方式運(yùn)行成果，因此得到的結(jié)果自然也相去甚遠(yuǎn)。DeepMind 整理了他們?cè)趶?fù)現(xiàn)過程中的 5 個(gè)主要錯(cuò)誤：沒有預(yù)先訓(xùn)練強(qiáng)化學(xué)習(xí)方法。從先前經(jīng)驗(yàn)中學(xué)習(xí)的能力是 DeepMind 基于學(xué)習(xí)方法的主要優(yōu)勢(shì)，而將其消除本質(zhì)上就是在評(píng)估一種完全不同且質(zhì)量更差的方法。預(yù)訓(xùn)練也是 Gemini 和 ChatGPT 等大語言模型獲取強(qiáng)大 AI 生成能力的前提（「GPT」中的「P」就代表「預(yù)訓(xùn)練」）。使用的計(jì)算資源低了一個(gè)數(shù)量級(jí)：強(qiáng)化學(xué)習(xí)經(jīng)驗(yàn)收集器僅相當(dāng)于原始論文的二十分之一（26 個(gè)，《自然》論文中為 512 個(gè)），GPU 減少至一半（8 個(gè)，《自然》論文中為 16 個(gè)）。未將模型訓(xùn)練到收斂。訓(xùn)練到收斂是機(jī)器學(xué)習(xí)領(lǐng)域的標(biāo)準(zhǔn)實(shí)踐，因?yàn)檫@樣才能保證性能穩(wěn)定。在不具代表性且不可重復(fù)的基準(zhǔn)上進(jìn)行評(píng)估。Cheng 等人的基準(zhǔn)采用更舊且尺寸更大的制程節(jié)點(diǎn)（45 納米與 12 納米，《自然》論文中為 7 納米以下），而且從物理設(shè)計(jì)角度來看存在很大差異。此外，作者無法或不愿公布其主數(shù)據(jù)表中復(fù)現(xiàn)結(jié)果所使用的綜合網(wǎng)表。對(duì) DeepMind 的方法進(jìn)行了“大規(guī)模重新實(shí)現(xiàn)”，但這可能會(huì)引發(fā)錯(cuò)誤。
強(qiáng)化學(xué)習(xí)方法沒有經(jīng)過預(yù)訓(xùn)練 AlphaChip 是一種基于學(xué)習(xí)的方法，意味著隨著其解決更多芯片布局問題實(shí)例，它也會(huì)變得更快、更好。這種改進(jìn)是通過預(yù)訓(xùn)練實(shí)現(xiàn)的，預(yù)訓(xùn)練包括在運(yùn)行保留的測(cè)試用例（測(cè)試數(shù)據(jù)）之前先在“練習(xí)”布局塊（訓(xùn)練數(shù)據(jù)）上接受訓(xùn)練。訓(xùn)練數(shù)據(jù)集越大，該方法在布局設(shè)計(jì)方面的表現(xiàn)就越好。Cheng 等人根本沒有進(jìn)行過預(yù)訓(xùn)練（即沒有訓(xùn)練數(shù)據(jù)），這意味著強(qiáng)化學(xué)習(xí)代理之前從未接觸過芯片設(shè)計(jì)，必須從頭學(xué)習(xí)如何針對(duì)各個(gè)測(cè)試用例進(jìn)行布局。這消除了 DeepMind 方法的關(guān)鍵優(yōu)勢(shì)，即從先前經(jīng)驗(yàn)中學(xué)習(xí)的能力。與其他知名的強(qiáng)化學(xué)習(xí)用例類似，這就像評(píng)估一個(gè)之前從未接觸過圍棋比賽的 AlphaGo 版本（而非經(jīng)過過數(shù)百萬場(chǎng)對(duì)弈預(yù)訓(xùn)練的版本），然后得出結(jié)論說 AlphaGo 不擅長(zhǎng)圍棋。DeepMind 在《自然》論文中詳細(xì)討論了預(yù)訓(xùn)練的重要性（例如「預(yù)訓(xùn)練」一詞出現(xiàn)了 37 次），并通過經(jīng)驗(yàn)證明了其影響。例如，《自然》圖四（在本文中為圖三）顯示預(yù)訓(xùn)練可以提高布局質(zhì)量和收斂速度。在開源 Ariane RISC_V CPU 上，未經(jīng)預(yù)訓(xùn)練的強(qiáng)化學(xué)習(xí)策略需要 48 個(gè)小時(shí)才能達(dá)到預(yù)訓(xùn)練模型在 6 小時(shí)內(nèi)所產(chǎn)生的結(jié)果。正如 DeepMind 在《自然》雜志上所發(fā)表論文中所述，DeepMind 為了獲取主數(shù)據(jù)表中的結(jié)果進(jìn)行了 48 小時(shí)的預(yù)訓(xùn)練，而 Cheng 等人的預(yù)訓(xùn)練時(shí)長(zhǎng)為 0 小時(shí)。在 Cheng 等人的論文發(fā)表之前，DeepMind 與其中作者的最后一次溝通是在 2022 年 8 月。當(dāng)時(shí) DeepMind 與對(duì)方聯(lián)系，并分享了 DeepMind 的最新消息。相比之下，在《自然》雜志上發(fā)表之前，DeepMind 與 Cheng 等人的高級(jí)作者 Andrew Kahng 進(jìn)行了廣泛溝通。此外 DeepMind 還聯(lián)系了此前最先進(jìn)技術(shù) RePlAce 的研究團(tuán)隊(duì)，以確保 DeepMind 使用了 RePlAce 的適當(dāng)配置。對(duì)大量布局塊進(jìn)行預(yù)訓(xùn)練所帶來的性能提升與從隨機(jī)初始化策略開始相比，預(yù)訓(xùn)練能夠提高收斂速度。在開源 Ariane RISC-V CPU 上，隨機(jī)初始化策略需要 48 個(gè)小時(shí)才能達(dá)到預(yù)訓(xùn)練策略在 6 小時(shí)內(nèi)所產(chǎn)生的結(jié)果。DeepMind 的開源代碼倉庫可以完全復(fù)現(xiàn)在《自然》雜志上描述的方法。Cheng 等人試圖為他們預(yù)訓(xùn)練的缺失尋找借口，稱 DeepMind 的開源代碼倉庫不支持預(yù)訓(xùn)練，但這是不正確的。DeepMind 提供了多個(gè)預(yù)訓(xùn)練運(yùn)行方法示例，且始終受到支持。
為強(qiáng)化學(xué)習(xí)方法提供的計(jì)算資源遠(yuǎn)少于原始論文 在 Cheng 等人的論文中，強(qiáng)化學(xué)習(xí)方法使用的經(jīng)驗(yàn)收集器僅為原始論文的二十分之一（26 個(gè)，《自然》論文中為 512 個(gè)），GPU 數(shù)量減少至一半（8 個(gè)，《自然》論文為 16 個(gè)）。算力資源的減少可能會(huì)損害性能，或者需要運(yùn)行更長(zhǎng)時(shí)間才能實(shí)現(xiàn)相同（或者更差）的性能。如下圖，在大量 GPU 上進(jìn)行訓(xùn)練可以加快收斂速度并獲得更好的最終質(zhì)量。如果 Cheng 等人在論文中使用與《自然》論文中相同的實(shí)驗(yàn)設(shè)置，可能會(huì)改善他們的復(fù)現(xiàn)結(jié)果。速度和質(zhì)量會(huì)隨著計(jì)算資源的增加而提高。左圖：布局反饋（越高越好）與訓(xùn)練時(shí)間的關(guān)系，表現(xiàn)為一條關(guān)于 GPU 數(shù)量的函數(shù)。不可行的布局將獲得 -2 的布局反饋，增加 GPU 數(shù)量則可獲得更好的最終布局。右圖：達(dá)到給定布局回報(bào)所需要的時(shí)間，表現(xiàn)為一條關(guān)于 GPU 數(shù)量的函數(shù)。灰色條表示實(shí)驗(yàn)未達(dá)到特定的回報(bào)值。最佳布局回報(bào) -1.07 只能在 GPU=8 的情況下實(shí)現(xiàn)，而這已經(jīng)是 Cheng 等人實(shí)驗(yàn)中的最高設(shè)置。
未將強(qiáng)化學(xué)習(xí)方法訓(xùn)練至收斂 隨著機(jī)器學(xué)習(xí)模型不斷接受訓(xùn)練，其損失通常會(huì)減少而后趨于穩(wěn)定，代表其發(fā)生了“收斂”——即桺尼桑學(xué)會(huì)了它所能學(xué)到關(guān)于當(dāng)前所執(zhí)行任務(wù)的知識(shí)。訓(xùn)練收斂是機(jī)器學(xué)習(xí)領(lǐng)域的標(biāo)準(zhǔn)實(shí)踐，未至收斂則會(huì)損害性能。Cheng 等人在其隨附項(xiàng)目站點(diǎn)上，沒有提供四個(gè)布局塊上任何一項(xiàng)達(dá)到收斂的訓(xùn)練結(jié)果圖（其中 BlackParrot-NG45 和 Ariane-NG45 完全沒有配圖）。圖五所示，為 Cheng 等人項(xiàng)目站點(diǎn)上的收斂圖。表一總結(jié)了其中的可用信息。對(duì)于所有四個(gè)配有收斂圖的布局塊（Ariane-GF12、MemPool-NG45、BlackParrot-GF12 和 MemPool-GF12），訓(xùn)練在相對(duì)較低的步數(shù)（分別為 350k、250k、160k 和 250k 步）10 處停止。遵循標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)實(shí)踐可能會(huì)提高這些測(cè)試用例的性能。Cheng 等人未在隨附項(xiàng)目站點(diǎn)上提供任何在測(cè)試用例上進(jìn)行了正確訓(xùn)練的 Tensorboard 證據(jù)。
Cheng 等人的測(cè)試用例未使用現(xiàn)代芯片 盡管 Cheng 等人似乎顯示 1M 步后在 Ariane-NG45 上實(shí)現(xiàn)了收斂，但卻省略了總訓(xùn)練損失中的大部分內(nèi)容，僅描述了線長(zhǎng)、密度和擁塞成本。但除此之外，總損失還應(yīng)涵蓋熵正則化損失、KL 懲罰損失、L2 正則化損失、策略梯度損失和值估計(jì)損失。關(guān)于訓(xùn)練損失的詳細(xì)信息，可參閱開源代碼：https://github.com/google-research/circuit_training/blob/ 90fbe0e939c3038e43db63d2cf1ff570e525547a/circuit_training/learning/agent.py#L408。Cheng 等人沒有為該布局塊提供 TensorBoard，如表一所示，所有其他布局塊的運(yùn)行步數(shù)則遠(yuǎn)少于 1M 步。Cheng 等項(xiàng)目站點(diǎn)上公布的收斂圖。在 Ariane-NG45（左上）和 MemPool-NG45（右上）中，在 100k 步左右出現(xiàn)了奇怪的發(fā)散，但損失似乎仍呈下降趨勢(shì)，且可能隨著進(jìn)一步訓(xùn)練而改善。在 BlackParrot-GF12（左下）和 MemPool-GF12（右下）處，模型尚未收斂，且同樣可能在更長(zhǎng)的訓(xùn)練時(shí)間后改善。在《自然》論文中，DeepMind 報(bào)告了在 7 納米以下制程工藝的張量處理單元（TPU）運(yùn)行布局塊的結(jié)果，其代表現(xiàn)代芯片的典型特征。相比之下，Cheng 等人言說蠅使用的是較舊的制程節(jié)點(diǎn)（45 納米和 12 納米），其在物理設(shè)計(jì)角度存在很大區(qū)別；例如在 10 納米以下，芯片通常使用多重圖案化 [15.38]，導(dǎo)致在較低密度下出現(xiàn)布線擁塞問題。因此對(duì)于較舊的制程節(jié)點(diǎn)，DeepMind 的方法可能受益于對(duì)其獎(jiǎng)勵(lì)函數(shù) 11 的擁塞或密度分量的調(diào)整。DeepMind 并沒有專門將自己的技術(shù)方案應(yīng)用于較舊的芯片節(jié)點(diǎn)設(shè)計(jì)，因?yàn)?DeepMind 所有的工作都運(yùn)行在 7 納米、5 納米及更新的制程工藝之上。
Cheng 等人論文中的其他問題

與商業(yè)自動(dòng)布局設(shè)計(jì)工具的不恰當(dāng)比較 Cheng 等人將被嚴(yán)重弱化的強(qiáng)化學(xué)習(xí)方法，與在 DeepMind 方法發(fā)布多年之后的閉源專有軟件進(jìn)行了比較。“這顯然不是對(duì)我們方法進(jìn)行評(píng)估的合理方式——據(jù)我們所知，這款閉源工具可能就是基于我們的成果構(gòu)建而成。”谷歌工程師確實(shí)提出了驗(yàn)證建議，但并未遵循 Cheng 等人提出的具體方法。2020 年 5 月，DeepMind 開展了一項(xiàng)內(nèi)部盲測(cè) 12，將其方法與兩款領(lǐng)先的商業(yè)自動(dòng)布局設(shè)計(jì)工具的最新版本進(jìn)行了比較。DeepMind 的方法優(yōu)于后兩者，以 13 比 4（3 平）的成績(jī)優(yōu)于其中一種，以 15 比 1（4 平）的成績(jī)優(yōu)于另外一種。遺憾的是，受到商業(yè)供應(yīng)商的標(biāo)準(zhǔn)許可協(xié)議的限制，DeepMind 無法公開具體對(duì)比細(xì)節(jié)。
“消融”了標(biāo)準(zhǔn)單元簇重新均衡中的初始布局 在運(yùn)行 DeepMind《自然》論文中的方法之前，DeepMind 利用物理合成（即芯片設(shè)計(jì)過程中的前一步）中的近似初始布局方式解決了 hMETIS 中標(biāo)準(zhǔn)單元簇大小不均衡的問題。Cheng 等人對(duì)單個(gè)布局塊（Ariane-NG45）進(jìn)行了“消融”研究。他們沒有簡(jiǎn)單跳過簇重新均衡步驟，而是嘗試將所有芯片組件堆疊在左下角 13，導(dǎo)致重新均衡步驟產(chǎn)生了退化的標(biāo)準(zhǔn)單元簇。對(duì)于由此引發(fā)的性能損害，Cheng 等人得出結(jié)論，認(rèn)為 DeepMind 的強(qiáng)化學(xué)習(xí)代理以某種方式利用了初始布局信息，卻忽略了其根本未訪問初始布局且未放置標(biāo)準(zhǔn)單元的現(xiàn)實(shí)情況。DeepMind 也進(jìn)行了一項(xiàng)消融研究，完全消除了對(duì)初始布局的使用，且沒有觀察到性能下降（見表二）。DeepMind 只是跳過了集群重新均衡的步驟，轉(zhuǎn)而將 hMETIS 的簇“不均衡度”參數(shù)降低到最低設(shè)置 (UBFactor=1)14，借此保證 hMETIS 生成更加均衡的簇。這項(xiàng)輔助預(yù)處理步驟已被記錄并自 2022 年 6 月 10 日起開源，但隨后發(fā)現(xiàn)其沒有必要，因此已被從 DeepMind 的生產(chǎn)流程中刪除。在存在和不存在初始布局的情況下，對(duì)標(biāo)準(zhǔn)單元進(jìn)行聚類后的強(qiáng)化學(xué)習(xí)結(jié)果。對(duì)于所有指標(biāo)來說，幅度均越低越好。不存在初始布局的聚類似乎不會(huì)造成性能損害。
代理成本與最終指標(biāo)之間的相關(guān)性研究存在缺陷 Cheng 等人聲稱，DeepMind 的代理成本與最終指標(biāo)間缺乏良好的相關(guān)性。但從他們的相關(guān)性研究方法來看，總體代理成本與除標(biāo)準(zhǔn)單元面積之外的所有最終指標(biāo)間存在著較弱的正相關(guān)性。DeepMind 將布局面積視為硬約束條件，因此不會(huì)對(duì)其進(jìn)行優(yōu)化。基于機(jī)器學(xué)習(xí)的做強(qiáng) 使用的代理成本，通常僅與目標(biāo)具有弱相關(guān)性。例如，Gemini 和 ChatGPT 這樣的大語言模型就通過訓(xùn)練來猜測(cè)序列中的下一個(gè)單詞，這在本質(zhì)上屬于嘈雜信號(hào)。此外，Cheng 等人在相關(guān)性研究中還做出了一些令人“匪夷所思”的選擇：DeepMind 的盲測(cè)將強(qiáng)化學(xué)習(xí)與 20 個(gè) TPU 布局塊上的人類專家與商業(yè)自動(dòng)布局設(shè)計(jì)工具進(jìn)行了比較。首先，負(fù)責(zé)放置給定布局塊的物理設(shè)計(jì)工程師會(huì)對(duì)這幾種匿名布局進(jìn)行排名，且僅根據(jù)最終 QoR 指標(biāo)進(jìn)行評(píng)估，期間并不知曉各布局由哪種方式生成。接下來，由七名物理設(shè)計(jì)專家組成的小組負(fù)責(zé)審查排名結(jié)果是否可靠。在全部?jī)奢喸u(píng)估完成之后，才最終揭曉答案。結(jié)果是，最佳布局多數(shù)由強(qiáng)化學(xué)習(xí)方法生成，其次是人類專家，最后是商業(yè)自動(dòng)布局設(shè)計(jì)工具。Cheng 等人還嘗試將所有組件放置在右上角的頂部和中心的單個(gè)點(diǎn)上。不出所料，這同樣引發(fā)了性能退化。UBfactor 是一條范圍從 1 到 49 的參數(shù)，其取值越低則代表 hMETIS 越是優(yōu)先考慮對(duì)簇大小做出均衡。在 DeepMind 發(fā)表在《自然》上的論文中，UBfactor 被設(shè)置為 5。Cheng 等人論文中的表二顯示，總體代理成本與最終指標(biāo)之間存在較弱的正相關(guān)性，但標(biāo)準(zhǔn)單元面積除外，因?yàn)?DeepMind 將這項(xiàng)指標(biāo)視為硬約束條件且不做優(yōu)化。Cheng 等人僅報(bào)告了代理成本低于 0.9 的相關(guān)性，且沒有此為這種評(píng)判方式提供任何理由。這樣的閾值排除了他們自己的大部分結(jié)果（參見 Cheng 等人論文中的表一）。相關(guān)性研究?jī)H考慮到單一 45 納米測(cè)試案例（Ariane-NG45）。NG45 是一種更陳舊的制程節(jié)點(diǎn)規(guī)格，總體成本函數(shù)的擁塞和密度分量可能應(yīng)該進(jìn)行調(diào)整以更好地反映這種運(yùn)行環(huán)境（參見第 2.4 節(jié)）。
Cheng 等人錯(cuò)誤地聲稱谷歌工程師已經(jīng)做出驗(yàn)證 Cheng 等人聲稱谷歌工程師證實(shí)了該文章的技術(shù)正確性，但事實(shí)并非如此。谷歌工程師（并非本《自然》論文的通訊作者）只是證實(shí)他們確實(shí)從頭開始（即沒有經(jīng)過預(yù)訓(xùn)練）在 DeepMind 開源代碼倉庫的快速使用部分中，選取了單個(gè)測(cè)試用例并進(jìn)行了訓(xùn)練。快速使用指南顯然沒有全面復(fù)制 DeepMind 在《自然》論文中描述的方法，只是作為確認(rèn)所需軟件已成功安裝、代碼已編譯完成且能夠在單個(gè)簡(jiǎn)單測(cè)試用例（Ariane）上成功運(yùn)行的前置準(zhǔn)備。事實(shí)上，谷歌工程師們也提出了與 DeepMind 相同的擔(dān)憂，并提供了建設(shè)性的反饋，但并未得到 Cheng 等人的理會(huì)。例如，在 Cheng 等人的論文發(fā)表之前，谷歌工程師們就已經(jīng)通過書面交流和多次會(huì)議提出了改進(jìn)意見，包括使用的計(jì)算資源過少、未能調(diào)整代理成本權(quán)重以解釋截然不同的制程節(jié)點(diǎn)等等。Cheng 等人在其文章的致謝部分，還列舉了 DeepMind《自然》論文的通訊作者，以此暗示向他們征求過意見甚至參與過驗(yàn)證流程。但事實(shí)并非如此，通訊作者們完全是在該論文發(fā)表之后才得到消息。
透明度與可重復(fù)性

AlphaChip 屬于完全開源項(xiàng)目 DeepMind 已經(jīng)開源了自己的代碼倉庫，以完全復(fù)現(xiàn) DeepMind 在《自然》論文中描述的方法。DeepMind 強(qiáng)化學(xué)習(xí)方法中的第一行代碼均可接受檢查、執(zhí)行或修改，DeepMind 提供源代碼或二進(jìn)制文件來執(zhí)行所有預(yù)處理及后處理步驟。TF-Agents 團(tuán)隊(duì)花了一年多時(shí)間公布了自己的開源代碼，其中包括復(fù)現(xiàn) DeepMind 的方法和《自然》論文中的結(jié)果。以下是我們開源代碼倉庫中的相關(guān)說明：“我們?cè)诖a開源過程中與谷歌另一支團(tuán)隊(duì)（TF-Agents）共同合作。TF-Agents 首先使用我們的代碼倉庫復(fù)現(xiàn)了我們?cè)凇蹲匀弧氛撐闹械慕Y(jié)果，而后重新實(shí)現(xiàn)了具體方法并使用他們的實(shí)現(xiàn)再次復(fù)現(xiàn)了論文結(jié)果，而后將他們的實(shí)現(xiàn)版本進(jìn)行開源，以保證其中不依賴任何內(nèi)部基礎(chǔ)設(shè)施。”Cheng 等人毫無必要地對(duì)我們二進(jìn)制文件中的兩項(xiàng)函數(shù)進(jìn)行了“逆向工程”以進(jìn)行性能優(yōu)化（分別為代理成本函數(shù)以及 FD 力導(dǎo)向標(biāo)準(zhǔn)單元布局器）。正如 MLCAD 2021 論文中所討論，我們現(xiàn)在建議使用性能更高的 DREAMPlace 進(jìn)行標(biāo)準(zhǔn)單元放置，而非 FD。我們提供傳統(tǒng) FD 二進(jìn)制文件的唯一目的，僅在于精確復(fù)現(xiàn)我們?cè)凇蹲匀弧冯s志上發(fā)表的方法。關(guān)于公共基準(zhǔn)，DeepMind 在《自然》論文中報(bào)告了開源 Ariane RISC-V CPU 的結(jié)果。此外，在 MLCAD 2021 的后續(xù)論文中，DeepMind 對(duì)開源 ISPD 2015 競(jìng)賽中的基準(zhǔn)測(cè)試進(jìn)行了評(píng)估 [6]。由于已經(jīng)開源了項(xiàng)目代碼，所以社區(qū)可以按照 DeepMind 的方法在任何公共基準(zhǔn)測(cè)試上評(píng)估成果。
Cheng 等人聲稱他們無法公開他們的“開放”測(cè)試用例 DeepMind 對(duì) Cheng 等人提出的批評(píng)之一，是其對(duì)《自然》論文的評(píng)估是在專有 TPU 布局塊之上進(jìn)行。Cheng 等人聲稱對(duì)一組開放測(cè)試用例進(jìn)行評(píng)估是為了提高可重復(fù)性，但當(dāng) DeepMind 與對(duì)方溝通時(shí)，他們無法或不愿提供在其主數(shù)據(jù)表中“開放”測(cè)試用例上復(fù)現(xiàn)結(jié)果時(shí)使用的綜合網(wǎng)表，這意味著 DeepMind 無法復(fù)現(xiàn) Cheng 等人表一中的任何結(jié)果：GF12（12 納米）：這些測(cè)試用例是專有的，不對(duì)公眾開放，但卻被 Cheng 等人在結(jié)果中予以混淆。意味著即使外部研究人員擁有訪問權(quán)限，也仍然無法對(duì)結(jié)果直接進(jìn)行比較。NG45（45 納米）：盡管 Cheng 等人自 2024 年 2 月以來已收到 10 余次申請(qǐng)，但始終沒有發(fā)布復(fù)現(xiàn) NG45 結(jié)果所需的綜合網(wǎng)表。請(qǐng)注意，其他論文也對(duì) NG45 布局塊進(jìn)行了評(píng)估，但得到的結(jié)果與 Cheng 等人論文中表一的結(jié)果不一致，代表其結(jié)論的可重復(fù)性存疑。現(xiàn)代芯片 IP 具有敏感和專有屬性。據(jù) DeepMind 所知，目前還沒有針對(duì)前沿制程工藝的開放基準(zhǔn)。目前，完全開放的設(shè)計(jì)通常為 28 納米、45 納米甚至 130 納米，其許多物理設(shè)計(jì)特征與 7 納米以下制程完全不同。聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。會(huì)議推薦就在 12 月 13 日 -14 日，AICon 將匯聚 70+ 位 AI 及技術(shù)領(lǐng)域的專家，深入探討大模型與推理、AI Agent、多模態(tài)、具身智能等前沿話題。此外，還有豐富的圓桌論壇、以及展區(qū)活動(dòng)，滿足你對(duì)大模型實(shí)踐的好奇與想象。現(xiàn)在正值 9 折倒計(jì)時(shí)，名額有限，快掃碼咨詢了解詳情，別錯(cuò)過這次絕佳的學(xué)習(xí)與交流機(jī)會(huì)！今日薦文ChatGPT 干掉了一家上市公司！千億市值歸零、10 多年 CEO 被迫離職，付費(fèi)用戶直呼上當(dāng)營收翻倍、Blackwell芯片爆單，黃仁勛否認(rèn) Scaling Law 失效，但英偉達(dá)財(cái)報(bào)后股價(jià)還是跌了最大的 AI Agent 生態(tài)系統(tǒng)來了！微軟推出適配 1800 種大模型的智能體，邁入自己的 Agent 時(shí)代獨(dú)家｜騰訊杰出科學(xué)家、混元大模型技術(shù)負(fù)責(zé)人之一劉威離職英偉達(dá) Blackwell 芯片又又又曝問題！老黃大半年沒搞定，微軟們被迫換貨、換方案你也「在看」嗎？?