MIT系初創打破Transformer霸權！液體基礎模型刷新SOTA，非GPT架構首次顯著超越Transformer

AIGC動態歡迎閱讀

原標題：MIT系初創打破Transformer霸權！液體基礎模型刷新SOTA，非GPT架構首次顯著超越Transformer
關鍵字：模型,團隊,架構,神經網絡,序列
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：Aeneas 好困
【新智元導讀】就在剛剛，MIT系初創公司Liquid AI推出液體基礎模型LFM，1B模型在基準測試中成為SOTA，這是非GPT架構首次顯著超越Transformer模型！背后功臣，就是基于團隊提出的液體神經網絡（LNN）。就在剛剛，MIT系初創公司Liquid AI團隊官宣：推出首批多模態非Transformer模型——液體基礎模型LFM。
作為通用人工智能模型，LFM可用于建模任何類型的順序數據，包括視頻、音頻、文本、時間序列和信號。
目前，LFM有三種不同的規模：
1.3B的稠密模型，適用于資源高度受限的環境
3.1B的稠密模型，為邊緣部署進行了優化
40.3B的混合專家（MoE）模型，專為處理更復雜的任務而設計
在各種規模上，這三個模型都實現了最佳質量表現，同時保持了更小的內存占用和更高效的推理能力。
公司的后訓練主管Maxime Labonne表示，LFM是「我職業生涯中發布的最自豪的產品」
這是因為，Liquid AI的新模型保留了液體神經網絡適應性的核心優勢，允許在推理過程中進行實時調整，而不會產生與傳統模型相關的計算開銷，能夠高效處

原文鏈接：MIT系初創打破Transformer霸權！液體基礎模型刷新SOTA，非GPT架構首次顯著超越Transformer