清華團隊革新MoE架構！像搭積木一樣構建大模型，提出新型類腦稀疏模塊化架構

AIGC動態歡迎閱讀

原標題：清華團隊革新MoE架構！像搭積木一樣構建大模型，提出新型類腦稀疏模塊化架構
關鍵字：模型,神經元,模塊,能力,高效
文章來源：量子位
內容字數：0字

內容摘要：

CFM團隊投稿量子位 | 公眾號 QbitAI探索更高效的模型架構， MoE是最具代表性的方向之一。
MoE架構的主要優勢是利用稀疏激活的性質，將大模型拆解成若干功能模塊，每次計算僅激活其中一小部分，而保持其余模塊不被使用，從而大大降低了模型的計算與學習成本，能夠在同等計算量的情況下產生性能優勢。
然而，此前像MoE等利用稀疏激活性質的研究工作，都認為大模型需要在預訓練階段就額外引入模塊化結構約束。
如今，來自清華的一項最新研究打破了以上思維定式，并將MoE架構進行了革新。
具體而言，研究人員受啟發于人腦高效的稀疏模塊化架構，在論文《Configurable Foundation Models: Building LLMs from a Modular Perspective》中提出了一種類腦高效稀疏模塊化架構：Configurable Foundation Model。
該架構將大模型的模塊拆分為預訓練階段產生的涌現模塊（Emergent Brick）與后訓練階段產生的定制模塊（Customized Brick），然后通過模塊的檢索、組合、更新與增長可以高效地實現復雜功能配置與組合

原文鏈接：清華團隊革新MoE架構！像搭積木一樣構建大模型，提出新型類腦稀疏模塊化架構