標簽：專家

從零手搓MoE大模型，大神級教程來了

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI傳說中GPT-4的“致勝法寶”——MoE（混合專家）架構，自己也能手搓了！ Hugging Face上有一位機器學習大神，分享了如何...
閱讀原文

GPT-4準確率最高飆升64%！斯坦福OpenAI重磅研究：全新Meta-Prompting方法讓LLM當老板

新智元報道編輯：桃子 好困 【新智元導讀】大模型幻覺問題還有另一種解法？斯坦福聯手OpenAI研究人員提出「元提示」新方法，能夠讓大模型成為全能「指揮家」...
閱讀原文

OpenAI、斯坦福大學提出Meta-Prompting，有效提升語言模型的性能

夕小瑤科技說 原創作者 | 智商掉了一地、Python 為了研究如何提高語言模型的性能，使其更充分有效地輸出對于提問的回答，來自斯坦福和 OpenAI 的學者強強聯手...
閱讀原文

混合專家模型Mixtral-8x7B模型挖坑指北

01前言MistralAI很高冷的給開源社區扔了一條磁力鏈，基于Mixture of Experts的混合專家模型Mixtral-8x7B和指令微調的Mixtral-8x7B-Instruct來了。此前曾爆料G...
閱讀原文

大模型專家混合MoE模型詳解

本文轉載自公眾號：青稞AI，原作者：Miller@知乎。Mixtral 8x7B 的推出（參見公告[1]和模型卡片[2]在開放 AI 領域引發了廣泛關注，特別是對于專家混合（Mixtu...
閱讀原文

MoE與Mamba強強聯合，將狀態空間模型擴展到數百億參數

機器之心報道 編輯：Panda性能與 Mamba 一樣，但所需訓練步驟數卻少 2.2 倍。狀態空間模型（SSM）是近來一種備受關注的 Transformer 替代技術，其優勢是能在...
閱讀原文

被OpenAI、Mistral AI帶火的MoE是怎么回事？一文貫通專家混合架構部署

選自 HuggingFace 博客 編譯：趙陽本文將介紹 MoE 的構建模塊、訓練方法以及在使用它們進行推理時需要考慮的權衡因素。專家混合 (MoE) 是 LLM 中常用的一種技...
閱讀原文

殺瘋了的開源專家模型 Mixtral 8x7B 論文公開啦！

夕小瑤科技說 原創作者 | 付奶茶、王二狗上個月法國初創公司 Mistral AI 開源的一個8x7B MoE模型Mixtral 8x7B引爆了AI社區。 一是因為它的性能擊敗了LLama2和...
閱讀原文

Arxiv最熱論文推薦：揭秘Transformer新身份、谷歌VLM蒸餾、復旦LEGO模型

本文內容由 賽博馬良「AI論文解讀達人」 智能體生成，人工整理排版。 「AI論文解讀達人」 可提供最熱AI論文推薦、論文解讀等功能。 傳送門： https://www.sai...
閱讀原文

首個國產開源MoE大模型來了！性能媲美Llama 2-7B，計算量降低60%

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI開源MoE模型，終于迎來首位國產選手！ 它的表現完全不輸給密集的Llama 2-7B模型，計算量卻僅有40%。 這個模型堪稱1...
閱讀原文

混合專家系統里根本沒專家？開源MoE模型論文引網友熱議

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI紅極一時的開源MoE模型Mixtral，論文終于新鮮出爐！ 除了披露了更多技術細節，論文中還有一個結論引發了熱烈討論——...
閱讀原文

Mixtral 8x7B論文終于來了：架構細節、參數量首次曝光

機器之心報道 作者：陳萍、大盤雞Mixtral 8x7B 在大多數基準測試中都優于 Llama 2 70B 和 GPT-3.5。前段時間，那個爆火整個開源社區的 Mixtral 8x7B MoE 模型...
閱讀原文

一條磁力鏈爆全網，Mixtral 8x7B論文來了！碾壓Llama 2 70B，每token僅需激活13B參數

新智元報道編輯：桃子 好困 【新智元導讀】爆火社區的Mixtral 8x7B模型，今天終于放出了arXiv論文！所有模型細節全部公開了。還記得一個月前，Mistral AI突然...
閱讀原文

OpenAI翁麗蓮的Agent公式，一定是正確的嗎？

衡宇 發自 凹非寺量子位 | 公眾號 QbitAI2024年了，被寄予厚望的AI Agent，到底是誰在用啊？！ 它被視作通向AGI最有可能的路徑之一，國內外公司都研究得火熱...
閱讀原文

多模態大模型學雜了能力反下降？新研究：MoE+通用專家解決沖突

港科大&南科大&華為諾亞方舟實驗室量子位 | 公眾號 QbitAI微調，能讓通用大模型更加適配具體的行業應用。 但現在，研究人員們卻發現： 對多模態大模...
閱讀原文