標簽:精度

WPS接入DeepSeek,秒變辦公神器!

WPS 大家經(jīng)常用來日常寫作,雖然本身提供了AI功能,但可惜需要會員,本文教你三分鐘接入最火的DeepSeek,讓W(xué)PS秒變辦公神器。 DeepSeek API申請地址:http:/...
閱讀原文

AI賺錢副業(yè)~AI生成影視解說,半個月漲粉變現(xiàn)3.5W+!

這兩年大家都在感嘆生活不易,然而我想說的是,機會還是有的,但問題不在于有沒有,而在于你是否能夠認準機會,然后抓住它。 接觸過很多咨詢項目的人,發(fā)現(xiàn)...

視頻大模型無損提速:刪除多余token,訓(xùn)練時間減少30%,幀率越高效果越好 | NeurIPS

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAIDon’t look twice! 把連續(xù)相同的圖像塊合并成一個token,就能讓Transformer的視頻處理速度大幅提升。 卡內(nèi)基梅隆...
閱讀原文

Scaling Law或?qū)⒔K結(jié)?哈佛MIT預(yù)警:低精度量化已無路可走,重磅研究掀翻AI圈

新智元報道編輯:桃子 LRS 【新智元導(dǎo)讀】哈佛斯坦福MIT等機構(gòu)首次提出「精度感知」scaling law,揭示了精度、參數(shù)規(guī)模、數(shù)據(jù)量之間的統(tǒng)一關(guān)系。數(shù)據(jù)量增加,...
閱讀原文

今日最熱論文:Scaling Law后繼乏力,量化也不管用,AI大佬齊刷刷附議

一水 發(fā)自 凹非寺量子位 | 公眾號 QbitAI幾十萬人關(guān)注,一發(fā)表即被行業(yè)大佬評為“這是很長時間以來最重要的論文”。 哈佛、斯坦福、MIT等團隊的一項研究表明:...
閱讀原文

Scaling Laws終結(jié),量化無用,AI大佬都在審視這篇論文

機器之心報道 作者:澤南、小舟研究表明,你訓(xùn)練的 token 越多,你需要的精度就越高。最近幾天,AI 社區(qū)都在討論同一篇論文。 UCSD 助理教授 Dan Fu 說它指明...
閱讀原文

微軟華人領(lǐng)銜AI2BMD登Nature,AI生物分子模擬雙突破!繼AlphaFold后又一里程碑

新智元報道編輯:靜音 【新智元導(dǎo)讀】最近,微軟研究院開發(fā)的AI2BMD登上了Nature。這是生物分子動力學(xué)(MD)模擬中,繼經(jīng)典MD和量子力學(xué)之后,首個成功地兼顧...
閱讀原文

至高 1.8 倍無損加速!互補量化方案的投機加速

夕小瑤科技說 原創(chuàng)作者 | Juntao Zhao等本文作者來自香港大學(xué)和哈爾濱工業(yè)大學(xué)。其中共同第一作者分別為來自香港大學(xué)Netexplo實驗室的博士生Juntao Zhao、She...
閱讀原文

時序大模型突破十億參數(shù)!新混合專家架構(gòu),普林斯頓格里菲斯等機構(gòu)出品

TimeMoE團隊 投稿自 凹非寺量子位 | 公眾號 QbitAI時序大模型,參數(shù)規(guī)模突破十億級別。 來自全球多只華人研究團隊提出了一種基于混合專家架構(gòu)(Mixture of Ex...
閱讀原文

清華開源混合精度推理系統(tǒng)MixQ,實現(xiàn)大模型近無損量化并提升推理吞吐

PACMAN實驗室投稿量子位 | 公眾號 QbitAI一鍵部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍! 清華大學(xué)計算機系PACMAN實驗室發(fā)布開源混合精度推理系統(tǒng)——M...
閱讀原文

又快又準,即插即用!清華8比特量化Attention,兩倍加速于FlashAttention2,各端到端任務(wù)均不掉點!

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年,機器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進了學(xué)術(shù)...
閱讀原文

「乘法變加法」!MIT清華校友全新方法優(yōu)化Transformer:Addition is All You Need

新智元報道編輯:喬楊 好困 【新智元導(dǎo)讀】Transformer計算,竟然直接優(yōu)化到乘法運算了。MIT兩位華人學(xué)者近期發(fā)表的一篇論文提出:Addition is All You Need...
閱讀原文

一行代碼訓(xùn)練成本再降30%,AI大模型混合精度訓(xùn)練再升級|開源

允中 發(fā)自 凹非寺量子位 | 公眾號 QbitAIFP8通過其獨特的數(shù)值表示方式,能夠在保持一定精度的同時,在大模型訓(xùn)練中提高訓(xùn)練速度、節(jié)省內(nèi)存占用,最終降低訓(xùn)練...
閱讀原文

如何估計LLM推理和訓(xùn)練所需的GPU內(nèi)存?

導(dǎo)讀文章轉(zhuǎn)載自知乎,作者為孫鵬飛,本文整理了一份訓(xùn)練或推理需要顯存的計算方式。 原文地址:https://zhuanlan.zhihu.com/p/716317173 本文只做學(xué)術(shù)/技術(shù)分...
閱讀原文

大模型訓(xùn)練及推理經(jīng)典必讀:FP8的what,why,how及其帶來的機會?

生成式AI時代最火AI芯片峰會下月來襲!9月6-7日,智猩猩發(fā)起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設(shè)有開幕式、數(shù)據(jù)中心AI芯片專場、邊緣/端側(cè)AI芯...
閱讀原文

大模型量化技術(shù)原理:FP8

?生成式AI時代最火AI芯片峰會下月來襲!9月6-7日,智猩猩發(fā)起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設(shè)有開幕式、數(shù)據(jù)中心AI芯片專場、邊緣/端側(cè)AI...
閱讀原文

大模型終端部署新趨勢:硬件直接支持混合矩陣乘法

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年,機器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進了學(xué)術(shù)...
閱讀原文
123