標簽：參數(shù)

掏空Inflection之后，微軟自研5000億參數(shù)大模型MAI-1曝光，前DeepMind高管帶隊

不需要OpenAI，微軟或許也會成為AI領頭羊！ 外媒Information爆料稱，微軟內(nèi)部正在開發(fā)自家首款5000億參數(shù)的大模型MAl-1。 這恰好是，納德拉帶領團隊證明自己...
閱讀原文

挑戰(zhàn)OpenAI，微軟自研5000億參數(shù)絕密武器曝光！前谷歌DeepMind高管帶隊

新智元報道編輯：桃子 好困 【新智元導讀】沒有OpenAI，微軟還有萬全之策！首個5000億參數(shù)大模型MAl-1正在研發(fā)，前谷歌DeepMind負責人領銜，預計5月底亮相。...
閱讀原文

爆火后反轉(zhuǎn)？「一夜干掉MLP」的KAN：其實我也是MLP

機器之心報道 編輯：蛋醬、張倩KAN 作者：我想傳達的信息不是「KAN 很棒」，而是「嘗試批判性地思考當前的架構(gòu)，并尋求從根本上不同的替代方案，這些方案可以...
閱讀原文

手機可跑，3.8B參數(shù)量超越GPT-3.5！微軟發(fā)布Phi-3技術報告：秘密武器是洗干凈數(shù)據(jù)

新智元報道編輯：LRS 【新智元導讀】Scaling Laws再次失效？微軟最新的phi-3-mini模型，只用3.8B模型就擊敗了一眾7B老大哥，用iPhone14每秒可生成12個tokens...
閱讀原文

MLP一夜掉，全新神經(jīng)網(wǎng)絡架構(gòu)KAN破紀錄！MIT華人一作，輕松復現(xiàn)Nature封面AI數(shù)學研究

夕小瑤科技說 分享來源 | 量子位一種全新的神經(jīng)網(wǎng)絡架構(gòu)KAN，誕生了！ 與傳統(tǒng)的MLP架構(gòu)截然不同，且能用更少的參數(shù)在數(shù)學、物理問題上取得更高精度。 比如，2...
閱讀原文

瑜伽球上遛「狗」！入選英偉達十大項目之一的Eureka有了新突破

機器之心報道 編輯：陳萍機器狗在瑜伽球上穩(wěn)穩(wěn)當當?shù)男凶?，平衡力那是相當?shù)暮茫焊鞣N場景都能拿捏，不管是平坦的人行道、還是充滿挑戰(zhàn)的草坪都能 hold 住：甚...
閱讀原文

打破「非此即彼」，平衡 AI 與物理，中國科學院提出建立可學習的氣候模型

將 ScienceAI設為星標 第一時間掌握 新鮮的 AI for Science 資訊平衡 AI-物理模型示意圖。 編輯 |X 人工智能（AI）迅速發(fā)展，大模型正在重新定義我們理解和應...
閱讀原文

MLP一夜掉！MIT加州理工等性KAN破記錄，發(fā)現(xiàn)數(shù)學定理碾壓DeepMind

新智元報道編輯：桃子 LRS 【新智元導讀】無需懷念MLP，新網(wǎng)絡KAN基于柯爾莫哥洛夫-阿諾德定理，帶著更少的參數(shù)、更強的性能、更好的可解釋性來了，深度學習...
閱讀原文

全新神經(jīng)網(wǎng)絡架構(gòu)KAN一夜爆火！200參數(shù)頂30萬，MIT華人一作，輕松復現(xiàn)Nature封面AI數(shù)學研究

白交 衡宇 發(fā)自 凹非寺量子位 | 公眾號 QbitAI一種全新的神經(jīng)網(wǎng)絡架構(gòu)KAN，誕生了！ 與傳統(tǒng)的MLP架構(gòu)截然不同，且能用更少的參數(shù)在數(shù)學、物理問題上取得更高...
閱讀原文

蘋果首次公布開源大模型，加緊和OpenAI談判，我們從中找到了AI iPhone的細節(jié)

AI iPhone 怎么做？開源最近成了 AI 圈繞不開的高頻熱門詞匯。 先有 Mistral 8x22B 悶聲干大事，后有 Meta Llama 3 模型深夜炸場，現(xiàn)在連蘋果也要下場參加這...
閱讀原文

大模型MoE的前世今生，10個模型一文搞懂！

2024年3、4月這段時間，很多MoE模型扎堆發(fā)布，包括Qwen1.5-MoE、DBRX、Jamba和Mistral等。 下面這個表格列出了部分近期發(fā)布的MoE工作MoE模型目前風頭正勁，就...
閱讀原文

讓大模型不再「巨無霸」，這是一份最新的大模型參數(shù)高效微調(diào)綜述

AIxiv專欄是機器之心發(fā)布學術、技術內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術...
閱讀原文

阿里開源110B大模型！超越LLama3！

4月26日晚間，阿里正式發(fā)布了110B的千問1.5開源大模型。 110B是中文開源模型的最大尺寸，用了GQA，32k上下文，除了中文能力亮眼，英文表現(xiàn)效果好于LLama3 70B...
閱讀原文

LLM爆發(fā)的一周！Apple開源OpenELM（270M、450M、1.1B 和 3B）

Apple今天發(fā)布并開源OpenELM系列模型（270M、450M、1.1B 和 3B）！還包括了在公開可用數(shù)據(jù)集上訓練和評估語言模型的完整框架，包括訓練日志、多個checkpoint ...
閱讀原文

全球最大開源模型再刷爆紀錄！4800億參數(shù)MoE擊敗Llama 3、Mixtral

新智元報道編輯：編輯部 【新智元導讀】最大開源模型，再次刷爆紀錄！Snowflake的Arctic，以128位專家和4800億參數(shù)，成為迄今最大的開源模型。它的特點，是又...
閱讀原文
1…56789…16