標(biāo)簽：顯存

WPS接入DeepSeek，秒變辦公神器！

WPS 大家經(jīng)常用來日常寫作，雖然本身提供了AI功能，但可惜需要會員，本文教你三分鐘接入最火的DeepSeek，讓W(xué)PS秒變辦公神器。 DeepSeek API申請地址：http:/...
閱讀原文

AI賺錢副業(yè)~AI生成影視解說，半個月漲粉變現(xiàn)3.5W+！

這兩年大家都在感嘆生活不易，然而我想說的是，機會還是有的，但問題不在于有沒有，而在于你是否能夠認準(zhǔn)機會，然后抓住它。 接觸過很多咨詢項目的人，發(fā)現(xiàn)...

一起理解下LLM的推理流程

本文來源自Pytorch Conference 2024的talking —— Understanding the LLM Inference Workload，由NVIDIA的高級解決方案架構(gòu)師講述，感興趣的可以看原演講視頻...
閱讀原文

微調(diào)大模型，AMD MI300X就夠了！跟著這篇博客微調(diào)Llama 3.1 405B，效果媲美H100

機器之心報道 機器之心編輯部隨著 AI 模型的參數(shù)量越來越大，對算力的需求也水漲船高。 比如最近，Llama-3.1 登上了最強開源大模型的寶座，但超大杯 405B 版...
閱讀原文

英偉達性能怪獸RTX 5090最新泄露！21760個CUDA核心，32GB顯存，512 bit位寬

新智元報道編輯：好困 【新智元導(dǎo)讀】隨著一大波爆料的放出，老黃的RTX 50系顯卡，似乎距離我們更近了！最近，英偉達次世代旗艦級顯卡RTX 5090，以及RTX5080...
閱讀原文

圖解當(dāng)紅推理框架vLLM的核心技術(shù)PagedAttention

生成式AI時代最火AI芯片峰會下月來襲！9月6-7日，智猩猩發(fā)起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設(shè)有開幕式、數(shù)據(jù)中心AI芯片專場、邊緣/端側(cè)AI芯...
閱讀原文

ICML 2024 | 梯度檢查點太慢？不降速、省顯存，LowMemoryBP大幅提升反向傳播顯存效率

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學(xué)術(shù)...
閱讀原文

ControlNet作者新項目爆火：僅一張圖生成25秒繪畫全過程！不到一天GitHub攬星600+

西風(fēng) 發(fā)自 凹非寺量子位 | 公眾號 QbitAIControlNet作者張呂敏（Lvmin Zhang）又又又發(fā)新作了！ 輸入任意一張圖，分分鐘就能“拆解”成一個25秒的圖像繪制過程...
閱讀原文

首個國產(chǎn)全功能GPU的萬卡集群來了！“中國英偉達”出品

金磊 發(fā)自 凹非寺量子位 | 公眾號 QbitAI純國產(chǎn)GPU的萬卡集群，它來了！ 而且還是國內(nèi)首個全功能GPU，兼容CUDA的那種。 這個集結(jié)了超過10000張高性能GPU的超...
閱讀原文

現(xiàn)在LLM 的大小為什么都設(shè)計成6/7B、13B和130B幾個檔次？

6月27日15點，3位騰訊云專家將在線直播，分享騰訊云在內(nèi)容創(chuàng)作、Al問答及知識點提煉、智能調(diào)研和報告生成等領(lǐng)域的應(yīng)用探索和落地實踐，歡迎掃碼預(yù)約直播。導(dǎo)...
閱讀原文

最火AI角色扮演流量已達谷歌搜索20%！每秒處理2萬推理請求，Transformer作者公開優(yōu)化秘訣

夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI什么AI應(yīng)用每秒處理20000個AI推理請求，達到2024年谷歌搜索流量的1/5？ 答案是獨角獸Character.ai，由Transformer作...
閱讀原文

一步文生圖大模型還能“更小更快”，MixDQ量化方法無損“瘦身”擴散模型3倍，提速1.5倍

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自將門創(chuàng)投 作者：趙天辰 我們提出了MixDQ，一種面向少步擴散模型的混合比特量化方案。 MixDQ分析定位了“少步擴散模型量化”的獨特問題，并...
閱讀原文

芯片戰(zhàn)爭新思路：用英偉達的方式，抗衡英偉達｜甲子光年

一場芯片行業(yè)的赤壁之戰(zhàn)，正在等著英偉達。作者｜王藝??? 編輯｜王博 6月6日，英偉達市值達到了3.01萬億美元，超過蘋果成為全球市值第二高的公司，僅次于微軟...
閱讀原文

騰訊PCG自研高性能大語言模型推理引擎「一念LLM」正式開源

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學(xué)術(shù)...
閱讀原文

國產(chǎn)開源MoE指標(biāo)炸裂：GPT-4級別能力，API價格僅百分之一

明敏 發(fā)自 凹非寺量子位 | 公眾號 QbitAI最新國產(chǎn)開源MoE大模型，剛剛亮相就火了。 DeepSeek-V2性能達GPT-4級別，但開源、可免費商用、API價格僅為GPT-4-Turb...
閱讀原文

阿里云：進一步壓榨云上GPU資源，將大模型訓(xùn)推效率最大化丨GenAICon 2024

阿里云用創(chuàng)新調(diào)優(yōu)方法節(jié)省通信開銷。 2024中國生成式AI大會于4月18-19日在北京舉行，在大會第二天的主會場AI Infra專場上，阿里云高級技術(shù)專家、阿里云異構(gòu)計...
閱讀原文

老黃將世界上第一臺英偉達H200親手交付給OpenAI

夕小瑤科技說 分享作者 | Zicy就在昨天，英偉達CEO黃仁勛親自將第一臺英偉達DGX H200交付給OpenAI位于舊金山的總部，預(yù)示著兩大科技巨頭未來的合作可能會更加...
閱讀原文
12