<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        無注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍

        AIGC動態(tài)1年前 (2024)發(fā)布 機器之心
        542 0 0

        無注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍

        AIGC動態(tài)歡迎閱讀

        原標題:無注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍
        關(guān)鍵字:模型,基準,架構(gòu),性能,英語
        文章來源:機器之心
        內(nèi)容字數(shù):3403字

        內(nèi)容摘要:


        機器之心報道
        編輯:陳萍Eagle 7B 可將推理成本降低 10-100 倍。在 AI 賽道中,與動輒上千億參數(shù)的模型相比,最近,小模型開始受到大家的青睞。比如法國 AI 初創(chuàng)公司發(fā)布的 Mistral-7B 模型,其在每個基準測試中,都優(yōu)于 Llama 2 13B,并且在代碼、數(shù)學和推理方面也優(yōu)于 LLaMA 1 34B。
        與大模型相比,小模型具有很多優(yōu)點,比如對算力的要求低、可在端側(cè)運行等。
        近日,又有一個新的語言模型出現(xiàn)了,即 7.52B 參數(shù) Eagle 7B,來自開源非盈利組織 RWKV,其具有以下特點:基于 RWKV-v5 架構(gòu)構(gòu)建,該架構(gòu)的推理成本較低(RWKV 是一個線性 transformer,推理成本降低 10-100 倍以上);
        在 100 多種語言、1.1 萬億 token 上訓練而成;
        在多語言基準測試中優(yōu)于所有的 7B 類模型;
        在英語評測中,Eagle 7B 性能接近 Falcon (1.5T)、LLaMA2 (2T)、Mistral;
        英語評測中與 MPT-7B (1T) 相當;
        沒有注意力的 Transformer。前面我們已經(jīng)了解到 Eagle 7B


        原文鏈接:無注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍

        聯(lián)系作者

        文章來源:機器之心
        作者微信:almosthuman2014
        作者簡介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺

        閱讀原文
        ? 版權(quán)聲明
        Trae官網(wǎng)

        相關(guān)文章

        Trae官網(wǎng)

        暫無評論

        暫無評論...
        主站蜘蛛池模板: 我的小后妈韩剧在线看免费高清版 | 131美女爱做免费毛片| 亚洲综合另类小说色区| 一边摸一边桶一边脱免费视频 | 亚洲精品中文字幕无乱码| 99精品视频免费在线观看| 亚洲欧洲在线观看| 午夜免费福利小电影| 97se亚洲综合在线| AA免费观看的1000部电影| 亚洲综合精品第一页| 国产高清在线免费视频| 老外毛片免费视频播放| 亚洲无码在线播放 | 免费人成网站在线观看10分钟| 亚洲伊人久久大香线蕉| 性做久久久久免费观看| 一级做a爰性色毛片免费| 久久精品国产亚洲AV麻豆~| 在线精品一卡乱码免费| 国产精品亚洲片在线花蝴蝶| 亚洲伊人色欲综合网| 一级毛片免费毛片一级毛片免费| 亚洲一本之道高清乱码| 又大又黄又粗又爽的免费视频| 精品乱子伦一区二区三区高清免费播放 | mm1313亚洲国产精品无码试看| 亚洲午夜无码AV毛片久久| 久久国产免费一区二区三区| 亚洲人成网站在线观看播放青青| 日韩免费高清一级毛片在线| 国产免费福利体检区久久| 亚洲欧洲另类春色校园小说| 国产精品免费视频一区| 久草免费福利资源站| 亚洲熟女www一区二区三区| 亚洲无线码在线一区观看| 女人与禽交视频免费看| 99久久国产精品免费一区二区| 亚洲国产日韩精品| 国产精品亚洲片在线|