標簽:精度
WPS接入DeepSeek,秒變辦公神器!
WPS 大家經(jīng)常用來日常寫作,雖然本身提供了AI功能,但可惜需要會員,本文教你三分鐘接入最火的DeepSeek,讓WPS秒變辦公神器。 DeepSeek API申請地址:http:/...
AI賺錢副業(yè)~AI生成影視解說,半個月漲粉變現(xiàn)3.5W+!
這兩年大家都在感嘆生活不易,然而我想說的是,機會還是有的,但問題不在于有沒有,而在于你是否能夠認準機會,然后抓住它。 接觸過很多咨詢項目的人,發(fā)現(xiàn)...
視頻大模型無損提速:刪除多余token,訓練時間減少30%,幀率越高效果越好 | NeurIPS
克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAIDon’t look twice! 把連續(xù)相同的圖像塊合并成一個token,就能讓Transformer的視頻處理速度大幅提升。 卡內(nèi)基梅隆...
Scaling Law或?qū)⒔K結?哈佛MIT預警:低精度量化已無路可走,重磅研究掀翻AI圈
新智元報道編輯:桃子 LRS 【新智元導讀】哈佛斯坦福MIT等機構首次提出「精度感知」scaling law,揭示了精度、參數(shù)規(guī)模、數(shù)據(jù)量之間的統(tǒng)一關系。數(shù)據(jù)量增加,...
今日最熱論文:Scaling Law后繼乏力,量化也不管用,AI大佬齊刷刷附議
一水 發(fā)自 凹非寺量子位 | 公眾號 QbitAI幾十萬人關注,一發(fā)表即被行業(yè)大佬評為“這是很長時間以來最重要的論文”。 哈佛、斯坦福、MIT等團隊的一項研究表明:...
Scaling Laws終結,量化無用,AI大佬都在審視這篇論文
機器之心報道 作者:澤南、小舟研究表明,你訓練的 token 越多,你需要的精度就越高。最近幾天,AI 社區(qū)都在討論同一篇論文。 UCSD 助理教授 Dan Fu 說它指明...
微軟華人領銜AI2BMD登Nature,AI生物分子模擬雙突破!繼AlphaFold后又一里程碑
新智元報道編輯:靜音 【新智元導讀】最近,微軟研究院開發(fā)的AI2BMD登上了Nature。這是生物分子動力學(MD)模擬中,繼經(jīng)典MD和量子力學之后,首個成功地兼顧...
至高 1.8 倍無損加速!互補量化方案的投機加速
夕小瑤科技說 原創(chuàng)作者 | Juntao Zhao等本文作者來自香港大學和哈爾濱工業(yè)大學。其中共同第一作者分別為來自香港大學Netexplo實驗室的博士生Juntao Zhao、She...
時序大模型突破十億參數(shù)!新混合專家架構,普林斯頓格里菲斯等機構出品
TimeMoE團隊 投稿自 凹非寺量子位 | 公眾號 QbitAI時序大模型,參數(shù)規(guī)模突破十億級別。 來自全球多只華人研究團隊提出了一種基于混合專家架構(Mixture of Ex...
清華開源混合精度推理系統(tǒng)MixQ,實現(xiàn)大模型近無損量化并提升推理吞吐
PACMAN實驗室投稿量子位 | 公眾號 QbitAI一鍵部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍! 清華大學計算機系PACMAN實驗室發(fā)布開源混合精度推理系統(tǒng)——M...
又快又準,即插即用!清華8比特量化Attention,兩倍加速于FlashAttention2,各端到端任務均不掉點!
AIxiv專欄是機器之心發(fā)布學術、技術內(nèi)容的欄目。過去數(shù)年,機器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進了學術...
「乘法變加法」!MIT清華校友全新方法優(yōu)化Transformer:Addition is All You Need
新智元報道編輯:喬楊 好困 【新智元導讀】Transformer計算,竟然直接優(yōu)化到乘法運算了。MIT兩位華人學者近期發(fā)表的一篇論文提出:Addition is All You Need...
一行代碼訓練成本再降30%,AI大模型混合精度訓練再升級|開源
允中 發(fā)自 凹非寺量子位 | 公眾號 QbitAIFP8通過其獨特的數(shù)值表示方式,能夠在保持一定精度的同時,在大模型訓練中提高訓練速度、節(jié)省內(nèi)存占用,最終降低訓練...
如何估計LLM推理和訓練所需的GPU內(nèi)存?
導讀文章轉載自知乎,作者為孫鵬飛,本文整理了一份訓練或推理需要顯存的計算方式。 原文地址:https://zhuanlan.zhihu.com/p/716317173 本文只做學術/技術分...
大模型訓練及推理經(jīng)典必讀:FP8的what,why,how及其帶來的機會?
生成式AI時代最火AI芯片峰會下月來襲!9月6-7日,智猩猩發(fā)起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設有開幕式、數(shù)據(jù)中心AI芯片專場、邊緣/端側AI芯...
大模型量化技術原理:FP8
?生成式AI時代最火AI芯片峰會下月來襲!9月6-7日,智猩猩發(fā)起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設有開幕式、數(shù)據(jù)中心AI芯片專場、邊緣/端側AI...
大模型終端部署新趨勢:硬件直接支持混合矩陣乘法
AIxiv專欄是機器之心發(fā)布學術、技術內(nèi)容的欄目。過去數(shù)年,機器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進了學術...