Liquid AI 發布新 STAR 模型架構，稱比 Transformer 效率更高

作者 | Liquid Science
譯者 | 劉雅夢
策劃 | 褚杏娟 隨著有關頂級人工智能公司在開發更新、更強大的大型語言模型 (LLM) 方面面臨困難的謠言和報道不斷流傳，人們的注意力越來越多地轉向“Transformer”的替代架構。近日，麻省理工學院誕生的初創公司 Liquid AI 報告了在自動化神經網絡架構設計和定制方面的進展。他們開發了基于進化算法的定制架構合成（STAR）算法，該算法基于一種新的設計理論，用于為模型架構提供數值表示。STAR 自動化了架構發現和優化的過程，將其轉變為端到端的過程。通過這些方法，我們能夠根據自定義的任務、指標和硬件來定制架構。Liquid AI 使用 STAR 合成了數百種不同的設計，這些設計在質量上優于強大的 Transformer 和混合架構，同時具有較小的緩存和參數數量。模型架構設計是人工智能的一個基本支柱，它塑造了從擴展能力及效率到預訓練、對齊和推理等基礎的一切。架構設計中的一個關鍵挑戰是平衡質量和硬件約束，特別是延遲和內存成本，以確保人工智能系統可以在不同的環境中有效部署。即使將搜索限制在僅在 GPU 上快速運行的優化模型上，設計高性能架構仍然是一個非常重要的組合問題。這種復雜性通常會導致人工智能實驗室和公司在早期就致力于特定的設計，因為手動啟發式方法在預測性能權衡方面是有限制的。此外，不同應用領域的要求可能存在很大的差異：例如，為邊緣用例設計的語言模型在內存占用、能耗方面應該很輕，并且能在特定的目標硬件上表現出良好的性能，例如在 CPU 上的快速預填充，而為云使用設計的語言模式通常優先考慮質量和 GPU 延遲，而不是內存占用。在實踐中，需求變得更妙且復雜。架構性能的基礎是由構建它的計算單元以及這些計算單元之間的相互連接方式決定的。當前的大多數深度學習架構都是通過將注意力算子和門控線性單元進行順序交錯構建而成的。這些層是一個更大類別的計算單元的簡單示例， Liquid AI 稱之為線性輸入可變系統（LIV）。LIV 是結構化運算符，其動作由輸入本身逐點調制，并提供抽象來泛化不同類別的計算單元，如注意力變體、線性注意力、（門控）卷積、具有線性狀態轉換的（門控）遞歸、狀態空間層和（門控）線性單元。已經有證據表明“超越 Transformer”架構是具有潛力的。將簡單的 LIV（如門控卷積和遞歸）與條紋混合模式中的自注意力相結合的模型已經顯示了適度的質量改進、對更長序列的更有效的擴縮以及更快的推理。雖然新的計算單元和互連策略在模型性能方面有了新的突破，但由于可能的設計數量眾多，它們也對架構設計提出了關鍵的挑戰。Liquid AI 利用的是針對 LIV 量身定制的進化算法，而不是依賴于應用于計算單元特定子類（如注意力和卷積）或互連策略（權重共享、KV 共享、并行互連）的手動優化和啟發式方法。STAR 的核心創新之一是將模型架構表示為稱為 STAR 基因組的分層數值序列， Liquid AI 使用進化優化的原理對其進行進化。這個過程是迭代的：將基因組編譯成具體的架構，對其進行評估，然后選擇并重組性能最佳的架構來創建下一代。重要的是，進化過程可以由靜態和動態目標來指導：靜態目標由架構的特定配置給出，例如它的參數數量或緩存大小。另一方面，動態目標需要評估架構，例如，通過測量其在給定數據集上訓練后的困惑度或其在目標硬件上的延遲。為了確保架構候選者是新穎且高性能的，基因組編碼依賴于 Liquid AI 的設計理論，該理論為神經網絡引入了一類新的通用計算單元：線性輸入可變系統（LIV）。Liquid AI 已經確定并圍繞基本機制構建了抽象，這些機制控制著深度學習中的現代計算單元如何根據輸入上下文調節其計算。該框架以張量網絡和系統理論為基礎，通過兩個關鍵方面來表征 LIV：它們的結構（算子的令牌和通道混合結構）和特征化（算子中輸入依賴的函數形式）。為了能夠表示復雜的架構設計， Liquid AI 的框架將運算符組合視為首要關注點，為構建超越層順序堆疊的架構開辟了新的途徑。STAR 基因組使 Liquid AI 能夠將 LIV 設計空間映射到適合進化優化的分層數值編碼。它定義了編碼架構所采用的每個計算單元的特征，以及這些單元是如何相互連接的。Liquid AI 首先在改進的語言建模架構的設計中評估 STAR，針對三個組合目標進行優化：i.）質量（訓練后的困惑度），ii.）質量和參數效率，以及 iii.）質量和緩存效率。在經過短短的兩到三輪進化之后，大多數架構的表現都優于 Transformer 和強混合基線之類的主流產品，并且隨著更多輪次的執行，其表現持續改善。特別是，當僅優化質量時， Liquid AI 發現所有經過評估的 STAR 進化架構在下游評估基準上的表現都優于注意力循環混合架構，在基準上的改進是 Transformer 混合架構的兩倍。Liquid AI 發現的這一結果有力地證明了進化搜索在設計空間中的有效性。混合架構是經過手動設計和改進的，需要投入大量的資源，而 STAR 可以在不到一天的時間內生成架構，命中率超過 90%。該搜索可以支持多目標優化。當同時優化質量和模型大小時，進化的架構始終優于 Transformer 和條帶混合型架構，同時減少了參數數量，使 Liquid AI 能夠針對邊緣和資源受限的環境壓縮模型。Liquid AI 嘗試了不同的方法來跨尺度傳遞進化和評估的結果，通常會發現對薄而深的架構候選者進行優化，比在目標寬度上優化架構主題能產生更好的傳遞效果。同樣， Liquid AI 使用 STAR 來平衡目標硬件的質量、模型大小和延遲，這些是通過直接在推理堆棧上進行分析獲得的。這是可能的，因為 STAR 不需要度量的梯度：它與使用從基因組編譯的架構計算的靜態和動態度量的混合兼容，包括詳細的分析過程，以最大限度地減少延遲和通信開銷。除了針對特定目標優化架構之外，STAR 還提供了一種分析工具，用于識別進化過程現的重復架構主題，從而推動觀察到的性能提升。有趣的是，之前提出的手動互連模式，如 KV 共享和某些形式的權重共享，也自然而然地出現了，同時還出現了全新的模式。Liquid AI 用 STAR 展示的功能只是在暗示它的全部潛力。得益于優化任何指標組合的能力，再加上 LIV 的多功能性，合成設計的多樣性和質量得以不斷提升。隨著對哪些模式和目標同時出現的理解的不斷加深， Liquid AI 現在希望進一步完善 STAR 的進化算法和初始種群，使每一代都比上一代更好，包括在基因組層次結構的最低級別進行優化。Liquid AI 表示也有興趣將類似的方法應用于可以構建模塊化設計空間的其他領域。有關更多的詳細信息，請參閱論文：https://arxiv.org/abs/2411.17800相關鏈接：https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution會議推薦極客邦科技 2025 年會議規劃出爐，共同探討人工智能、大數據、云計算等前沿科技的最新發展和應用趨勢。今日薦文ChatGPT Canvas免費啦！集成Python仿真器，支持在線修Bug，生產力飆升Sora 剛正式登場就把OpenAI系統干廢了！Altman緊急暫停新用戶注冊阿里合伙人為“爹味發言”道歉：自罰三個月工資；美圖出售加密貨幣獲利5.7億；虧損11億、上市對賭失敗，公司啟動全員降薪 | AI周報OpenAI深夜炸場！一口氣放出o1模型全家桶，月費200美元的ChatGPT Pro被狂槽：Altman只想躺在上數錢谷歌最強世界模型“硬控”OpenAI 一分鐘：智能體交互、替你玩游戲！等等，智能體們早在游戲里 cosplay、交友了！你也「在看」嗎？??