AIGC動態歡迎閱讀

原標題：RNN模型挑戰Transformer霸權！1%成本性能比肩Mistral-7B，支持100+種語言全球最多
關鍵字：模型,架構,英語,語言,數據
文章來源：新智元
內容字數：5059字

內容摘要：

新智元報道編輯：alan
【新智元導讀】大模型內卷時代，也不斷有人跳出來挑戰Transformer的統治地位，RWKV最新發布的Eagle 7B模型登頂了多語言基準測試，同時成本降低了數十倍在大模型內卷的同時，Transformer的地位也接連受到挑戰。
近日，RWKV發布了Eagle 7B模型，基于最新的RWKV-v5架構。
Eagle 7B在多語言基準測試中，擊敗了所有的同級別模型，在單獨的英語測試中，也和表現最好的模型基本打平。
同時，Eagle 7B用的是RNN架構，相比于同尺寸的Transformer模型，推理成本降低了10-100倍以上，可以說是世界上最環保的7B模型。
由于RWKV-v5的論文可能要下個月才能發布，這里先奉上RWKV的論文，——也是第一個擴展到數百億參數的非Transformer架構。
論文地址：https://arxiv.org/pdf/2305.13048.pdf
這篇工作已被EMNLP 2023錄用，我們可以看到論文的作者來自不同國家的頂尖高校、研究機構以及科技公司。
下面是Eagle 7B的官圖，表示這只老鷹正在飛躍變形金剛。
Eagle 7BE

原文鏈接：RNN模型挑戰Transformer霸權！1%成本性能比肩Mistral-7B，支持100+種語言全球最多

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。