Mamba再次挑戰(zhàn)霸主Transformer！首個通用Mamba開源大模型一鳴驚人

AIGC動態(tài)歡迎閱讀

原標題：Mamba再次挑戰(zhàn)霸主Transformer！首個通用Mamba開源大模型一鳴驚人
關鍵字：模型,架構,序列,政策,內存
文章來源：新智元
內容字數(shù)：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】TII開源全球第一個通用的大型Mamba架構模型Falcon Mamba 7B，性能與Transformer架構模型相媲美，在多個基準測試上的均分超過了Llama 3.1 8B和Mistral 7B。今天，阿布扎比支持的技術創(chuàng)新研究所(TII) 開源了全球第一個通用的大型Mamba架構模型——Falcon Mamba 7B。
雖然之前Mistral已經(jīng)發(fā)過Mamba架構的Codestral Mamba模型，但僅針對編碼；Falcon Mamba則是通用模型，能夠處理各種文本生成任務。
它是繼Falcon 180B、Falcon 40B和Falcon 2之后TII的第四個開放模型，與Falcon系列之前的型號不同，F(xiàn)alcon Mamba 7B完全采用SSLM架構而不是傳統(tǒng)的Transformer架構。
Mamba架構橫空出世后，體現(xiàn)出了內存效率方面的顯著優(yōu)勢，無需額外的內存需求即可生成大量文本。
如今，SSLM正在逐漸蠶食Transformer架構原本「大一統(tǒng)」的地位。
測評數(shù)據(jù)顯示，F(xiàn)alcon Mamba 7B性能已經(jīng)超越同尺寸級別的領先模型

原文鏈接：Mamba再次挑戰(zhàn)霸主Transformer！首個通用Mamba開源大模型一鳴驚人