Mamba再次挑戰霸主Transformer！首個通用Mamba開源大模型一鳴驚人

AIGC動態歡迎閱讀

原標題：Mamba再次挑戰霸主Transformer！首個通用Mamba開源大模型一鳴驚人
關鍵字：模型,架構,序列,政策,內存
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】TII開源全球第一個通用的大型Mamba架構模型Falcon Mamba 7B，性能與Transformer架構模型相媲美，在多個基準測試上的均分超過了Llama 3.1 8B和Mistral 7B。今天，阿布扎比支持的技術創新研究所(TII) 開源了全球第一個通用的大型Mamba架構模型——Falcon Mamba 7B。
雖然之前Mistral已經發過Mamba架構的Codestral Mamba模型，但僅針對編碼；Falcon Mamba則是通用模型，能夠處理各種文本生成任務。
它是繼Falcon 180B、Falcon 40B和Falcon 2之后TII的第四個開放模型，與Falcon系列之前的型號不同，Falcon Mamba 7B完全采用SSLM架構而不是傳統的Transformer架構。
Mamba架構橫空出世后，體現出了內存效率方面的顯著優勢，無需額外的內存需求即可生成大量文本。
如今，SSLM正在逐漸蠶食Transformer架構原本「大一統」的地位。
測評數據顯示，Falcon Mamba 7B性能已經超越同尺寸級別的領先模型

原文鏈接：Mamba再次挑戰霸主Transformer！首個通用Mamba開源大模型一鳴驚人

聯系作者

文章來源：新智元
作者微信：
作者簡介：