Transformer并非萬能：Jamba在效率和吞吐量上大幅超越

AIGC動態(tài)歡迎閱讀

原標(biāo)題：Transformer并非萬能：Jamba在效率和吞吐量上大幅超越
關(guān)鍵字：模型,架構(gòu),長上,吞吐量,注意力
文章來源：AI范兒
內(nèi)容字?jǐn)?shù)：4240字

內(nèi)容摘要：

點擊上方藍(lán)字關(guān)注我們“AI21 Labs推出Jamba，一種結(jié)合SSM與transformers的新AI模型，旨在提高處理長上下文的效率。Jamba在特定推理任務(wù)上超越傳統(tǒng)模型，盡管在多任務(wù)語言理解上尚未領(lǐng)先。該公司計劃提供beta版本，展現(xiàn)其在AI領(lǐng)域的創(chuàng)新潛力。自2017年《注意力是你所需要》的研究論文發(fā)表以來，transformers技術(shù)便在人工智能領(lǐng)域占據(jù)了主導(dǎo)地位。然而，AI21 Labs最近提出的Jamba技術(shù)，展示了一種超越傳統(tǒng)transformers的新路徑。
Transformer的局限性盡管transformers至今在AI領(lǐng)域占據(jù)主導(dǎo)地位，但它仍有不足之處。最顯著的問題是，隨著上下文窗口的擴大，推理過程會相應(yīng)變慢。AI21 Labs的研究人員指出，transformer的注意力機制隨著序列長度的增加而變得復(fù)雜，導(dǎo)致吞吐量下降，因為每個token的處理都依賴于它之前的所有序列。這使得處理長上下文的任務(wù)難以高效完成。
另一個問題是，transformers在擴展過程中需要大量的內(nèi)存資源。隨著上下文長度的增加，transformers的內(nèi)存占用也隨之增加，這使得在沒有充

原文鏈接：Transformer并非萬能：Jamba在效率和吞吐量上大幅超越

聯(lián)系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡介：AI領(lǐng)域四大媒體之一。 智能未來，始于Prompt！