標(biāo)簽：矩陣

CPU反超NPU，llama.cpp生成速度翻5倍！LLM端側(cè)部署新范式T-MAC開源

新智元報道編輯：LRST 好困 【新智元導(dǎo)讀】T-MAC是一種創(chuàng)新的基于查找表（LUT）的方法，專為在CPU上高效執(zhí)行低比特大型語言模型（LLMs）推理而設(shè)計，無需權(quán)重...
閱讀原文

手機(jī)跑大模型提速4-5倍！微軟亞研院開源新技術(shù)，有CPU就行

微軟亞洲研究院 投稿量子位 | 公眾號 QbitAI有CPU就能跑大模型，性能甚至超過NPU/GPU！ 沒錯，為了優(yōu)化模型端側(cè)部署，微軟亞洲研究院提出了一種新技術(shù)——T-MAC...
閱讀原文

僅微調(diào)0.02%參數(shù)，性能接近全量微調(diào)！上交大推出高效微調(diào)統(tǒng)一新范式

ChouJay 投稿量子位 | 公眾號 QbitAIScaling Laws當(dāng)?shù)溃S著大模型應(yīng)用的發(fā)展，基礎(chǔ)模型不斷擴(kuò)大的參數(shù)也成了令開發(fā)者們頭疼的問題。 為了減輕訓(xùn)練負(fù)擔(dān)，Ad...
閱讀原文

LLama+Mistral+…+Yi=? 免訓(xùn)練異構(gòu)大模型集成學(xué)習(xí)框架DeePEn來了

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

這一次，國產(chǎn)光計算芯片走到了商業(yè)化的臨界點｜甲子光年

光計算芯片行業(yè)的水溫，正在發(fā)生變化。作者｜八度?? 編輯｜王博 “集成光路將是半導(dǎo)體領(lǐng)域60年一遇的‘換道超車’。” 去年底，在2023全球硬科技創(chuàng)新大會上發(fā)布的...
閱讀原文

Mamba一作再祭神作，H100利用率飆至75%！FlashAttention三代性能翻倍，比標(biāo)準(zhǔn)注意力快16倍

新智元報道編輯：編輯部 【新智元導(dǎo)讀】時隔一年，F(xiàn)lashAttention又推出了第三代更新，專門針對H100 GPU的新特性進(jìn)行優(yōu)化，在之前的基礎(chǔ)上又實現(xiàn)了1.5～2倍的...
閱讀原文

英偉達(dá)又賺到了！FlashAttention3來了：H100利用率飆升至75%

機(jī)器之心報道 編輯：陳陳、小舟740 TFLOPS！迄今最強(qiáng) FlashAttention 來了。隨著大型語言模型（LLM）加速落地，擴(kuò)展模型上下文窗口變得越來越重要。然而，Tra...
閱讀原文

H100利用率飆升至75%！英偉達(dá)親自下場FlashAttention三代升級，比標(biāo)準(zhǔn)注意力快16倍

明敏 克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI大模型訓(xùn)練推理神作，又更新了！ 主流大模型都在用的FlashAttention，剛剛升級第三代。 時隔一年，F(xiàn)lashAtten...
閱讀原文

Google AI：構(gòu)建未來智能世界的創(chuàng)新引擎

谷歌作為全球領(lǐng)先的科技公司，在 AI 領(lǐng)域擁有深厚的積累和卓越的創(chuàng)新能力，在谷歌眼里，生成式 AI 帶來了哪些機(jī)會？Google AI 是如何在谷歌產(chǎn)品中落地的？Goo...
閱讀原文

MATLAB四十：一場數(shù)學(xué)的“矩陣”｜甲子光年

一家公司如何保持40年的創(chuàng)新力？作者｜趙健??? 如果提到MathWorks這家公司，可能很多人都沒聽過。但若提起MATLAB，很多科研、工程領(lǐng)域的從業(yè)者，一定對它不陌...
閱讀原文

“技術(shù)故障”背刺巴菲特，金融大模型到底靠不靠譜？

金磊 夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI一個“技術(shù)問題”，導(dǎo)致巴菲特的伯克希爾-哈撒韋公司股價暴跌近100%。 想必很多小伙伴已經(jīng)感受過了這則鋪天蓋地的...
閱讀原文

SSM 能取代 Transformer 搞出更「牛」的大模型嗎？

機(jī)器之心PRO · 會員通訊 Week 23---- 本周為您解讀 ③個值得細(xì)品的AI & Robotics業(yè)內(nèi)要事 ---- 1. SSM 能取代 Transformer 搞出更「牛」的大模型嗎？ SSM ...
閱讀原文

Mamba-2：超越 Transformer 的新架構(gòu)，訓(xùn)練效率大幅提升！

機(jī)器之心報道 來源：機(jī)器學(xué)習(xí)算法與Python學(xué)習(xí)自 2017 年被提出以來，Transformer 已經(jīng)成為 AI 大模型的主流架構(gòu)，一直穩(wěn)居語言建模方面 C 位。 但隨著模型規(guī)...
閱讀原文

再戰(zhàn)Transformer！原作者帶隊的Mamba 2來了，新架構(gòu)訓(xùn)練效率大幅提升

機(jī)器之心報道 機(jī)器之心編輯部自 2017 年被提出以來，Transformer 已經(jīng)成為 AI 大模型的主流架構(gòu)，一直穩(wěn)居語言建模方面 C 位。 但隨著模型規(guī)模的擴(kuò)展和需要處...
閱讀原文

新架構(gòu)Mamba更新二代！作者：別爭了，數(shù)學(xué)上Transformer和SSM是一回事

夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAITransformer挑戰(zhàn)者、新架構(gòu)Mamba，剛剛更新了第二代： Mamba-2，狀態(tài)空間擴(kuò)大8倍，訓(xùn)練速度提高50%！ 更重要的是，團(tuán)...
閱讀原文