隨著有關(guān)頂級(jí)人工智能公司在開發(fā)更新、更強(qiáng)大的大型語言模型方面面臨困難的謠言和報(bào)道不斷流傳，人們的注意力越來越多地轉(zhuǎn)向“Transformer”的替代架構(gòu)。

原標(biāo)題：Liquid AI 發(fā)布新 STAR 模型架構(gòu)，稱比 Transformer 效率更高
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：5857字

人工智能架構(gòu)設(shè)計(jì)的創(chuàng)新進(jìn)展

隨著頂級(jí)人工智能公司在開發(fā)大型語言模型（LLM）方面遇到困難，研究者開始關(guān)注“Transformer”的替代架構(gòu)。麻省理工學(xué)院的初創(chuàng)公司Liquid AI近期報(bào)告了在自動(dòng)化神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)方面的進(jìn)展，尤其是他們開發(fā)的基于進(jìn)化算法的定制架構(gòu)合成（STAR）算法。

1. STAR算法的核心創(chuàng)新

STAR算法通過將模型架構(gòu)表示為稱為STAR基因組的分層數(shù)值序列，自動(dòng)化了架構(gòu)發(fā)現(xiàn)和優(yōu)化的過程。Liquid AI利用進(jìn)化優(yōu)化原理對這些基因組進(jìn)行迭代，以形成高性能的模型架構(gòu)。進(jìn)化過程可以根據(jù)靜態(tài)和動(dòng)態(tài)目標(biāo)進(jìn)行指導(dǎo)，確保生成的架構(gòu)既新穎又高效。

2. 線性輸入可變系統(tǒng)（LIV）的應(yīng)用

Liquid AI提出了一類新的通用計(jì)算單元——線性輸入可變系統(tǒng)（LIV），為深度學(xué)習(xí)中的現(xiàn)代計(jì)算單元提供了新的設(shè)計(jì)框架。LIV的設(shè)計(jì)可以根據(jù)輸入上下文調(diào)節(jié)其計(jì)算，從而優(yōu)化模型性能。這種設(shè)計(jì)不僅提高了模型質(zhì)量，還降低了參數(shù)數(shù)量和延遲。

3. 性能優(yōu)于傳統(tǒng)架構(gòu)

Liquid AI通過STAR算法合成的架構(gòu)在多個(gè)基準(zhǔn)測試中表現(xiàn)優(yōu)于傳統(tǒng)的Transformer和混合架構(gòu)。尤其是在優(yōu)化質(zhì)量時(shí)，經(jīng)過評估的STAR進(jìn)化架構(gòu)在下游評估基準(zhǔn)中的表現(xiàn)超過了注意力循環(huán)混合架構(gòu)，顯示出其強(qiáng)大的設(shè)計(jì)潛力。

4. 多目標(biāo)優(yōu)化的靈活性

STAR算法具備多目標(biāo)優(yōu)化能力，能夠同時(shí)考慮質(zhì)量、模型大小和延遲等因素。這使得Liquid AI能夠設(shè)計(jì)出適用于邊緣計(jì)算和資源受限環(huán)境的高效模型。此外，STAR還為架構(gòu)設(shè)計(jì)提供了分析工具，幫助識(shí)別進(jìn)化過程中的重復(fù)主題，推動(dòng)性能的進(jìn)一步提升。

5. 未來的研究方向

Liquid AI希望通過進(jìn)一步完善STAR的進(jìn)化算法和初始種群，使每一代架構(gòu)都優(yōu)于前一代，并將類似的方法應(yīng)用于其他模塊化設(shè)計(jì)領(lǐng)域。隨著對架構(gòu)模式和目標(biāo)的理解不斷加深，Liquid AI的架構(gòu)設(shè)計(jì)將持續(xù)推動(dòng)人工智能技術(shù)的發(fā)展。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。