標(biāo)簽：內(nèi)存

4090成A100平替？token生成速度只比A100低18%，上交大推理引擎火了

機(jī)器之心報(bào)道 機(jī)器之心編輯部PowerInfer 使得在消費(fèi)級硬件上運(yùn)行 AI 更加高效。上海交大團(tuán)隊(duì)最新推出了超強(qiáng) CPU/GPU LLM 高速推理引擎 PowerInfer。PowerInfe...
閱讀原文

進(jìn)入蘋果最神秘的芯片實(shí)驗(yàn)室，回顧蘋果歷代CPU構(gòu)架，展現(xiàn)3萬億公司成長之路

新智元報(bào)道編輯：alan 潤【新智元導(dǎo)讀】蘋果創(chuàng)造了資本主義歷史上最成功的產(chǎn)品，成為第一家市值達(dá)到1萬億美元的企業(yè)。讓我們一起探究蘋果最神秘的芯片研發(fā)部...
閱讀原文

不是大模型全局微調(diào)不起，只是LoRA更有性價比，教程已經(jīng)準(zhǔn)備好了

選自 Sebastian Raschka 博客機(jī)器之心編譯編輯：佳琪這是作者 Sebastian Raschka 經(jīng)過數(shù)百次實(shí)驗(yàn)得出的經(jīng)驗(yàn)，值得一讀。增加數(shù)據(jù)量和模型的參數(shù)量是公認(rèn)的提...
閱讀原文

AWS和英偉達(dá)打造了一臺16,384個超級芯片的超級計(jì)算機(jī)

點(diǎn)擊上方藍(lán)字關(guān)注我們“ 亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）與Nvidia達(dá)成戰(zhàn)略合作，提供基于Nvidia GPU的生成AI基礎(chǔ)設(shè)施，包括Ceiba項(xiàng)目創(chuàng)建的AI超級計(jì)算機(jī)，Nvidia DGX Cl...
閱讀原文

M3 MacBook Pro 評測：Mac 可以打游戲了，但這不是它最大的亮點(diǎn)

長板更長短板不短眾所周知，人眼之所以能看見色彩斑斕的世界，是因?yàn)椴煌ㄩL的光反射到了我們眼里，波長較長的光成為了明艷的紅色，波長較短的光則是深郁的...
閱讀原文

S-LoRA：一個GPU運(yùn)行數(shù)千大模型成為可能

機(jī)器之心報(bào)道編輯：蛋醬一般來說，大語言模型的部署都會采用「預(yù)訓(xùn)練 — 然后微調(diào)」的模式。但是，當(dāng)針對眾多任務(wù)（如個性化助手）對 base 模型進(jìn)行微調(diào)時，訓(xùn)...
閱讀原文

最強(qiáng)AI芯片英偉達(dá)H200深夜發(fā)布，Llama2-70B推理提速90%，2024年二季度發(fā)貨

機(jī)器之心報(bào)道編輯：蛋醬、陳萍芯片巨頭英偉達(dá)，又打出一張王牌。英偉達(dá)在 2023 年全球超算大會（SC2023）上發(fā)布了目前世界上最強(qiáng)的 AI 芯片 H200。這款新的 G...
閱讀原文

囤H100的都成了大冤種！英偉達(dá)發(fā)布最新AI芯片H200：性能提升2倍，成本下降50%

編譯 | 核子可樂、Tina 周一，半導(dǎo)體行業(yè)巨頭英偉達(dá)發(fā)布了新一代人工智能芯片 H200，旨在為各種 AI 模型提供訓(xùn)練和部署支持。H200 芯片是目前用于訓(xùn)練最先進(jìn)...
閱讀原文

最強(qiáng)大模型訓(xùn)練芯片H200發(fā)布！141G大內(nèi)存，AI推理最高提升90%，還兼容H100

夢晨 克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI英偉達(dá)老黃，帶著新一代GPU芯片H200再次炸場。官網(wǎng)毫不客氣就直說了，“世界最強(qiáng)GPU，專為AI和超算打造”。聽說...
閱讀原文

英偉達(dá)推出H200，用于訓(xùn)練 AI 模型的最新高端芯片

點(diǎn)擊上方藍(lán)字關(guān)注我們“ Nvidia發(fā)布了新的H200 AI加速器，速度幾乎翻倍，采用HBM3e內(nèi)存。此外，云服務(wù)提供商將于明年提供H200實(shí)例，GH200超級芯片也將升級。Eo...
閱讀原文

愛立信被曝裁掉整個廣州研發(fā)團(tuán)隊(duì)：賠償N+3加年終獎；英偉達(dá)將為中國定制三款芯片；馬斯克旗下首款機(jī)器人將開源 | AI一周資訊

整理 | 凌敏 英偉達(dá)將為中國“定制”三款芯片，本月 16 日正式推出；OpenAI 工程師平均薪酬 92.5 萬美元；蘋果高管回應(yīng)“黃金內(nèi)存”質(zhì)疑：8GB 和其它系統(tǒng)的 16GB ...
閱讀原文

當(dāng)大模型被塞進(jìn)PC：如何提升算力利用效率？

作者 | 凌敏 ChatGPT 的爆火掀起了 AI 大模型熱潮，也進(jìn)一步拉動了算力需求的爆發(fā)，面對呈指數(shù)級增長的算力需求，如何用得起、用得上、用得好算力成為大家普...
閱讀原文

首款生成式AI移動芯片天璣9300：能跑330億參數(shù)大模型

機(jī)器之心報(bào)道作者：澤南AI 畫圖一秒生成，大語言模型一秒 20 token。2023 年是生成式 AI 的元年，我們手上的移動設(shè)備也在加速進(jìn)入大模型時代。11 月 6 日晚，...
閱讀原文

天璣9300拿下生成式AI最強(qiáng)移動芯，端側(cè)支持330億大模型，1秒內(nèi)AI畫圖，全新全大核架構(gòu)做底座

明敏 發(fā)自 凹非寺量子位 | 公眾號 QbitAI最強(qiáng)生成式AI終端芯片，現(xiàn)已易主！天璣9300一舉支持運(yùn)行最大330億參數(shù)大模型，短短幾周時間內(nèi)刷新業(yè)界紀(jì)錄。它是業(yè)界...
閱讀原文

OpenAI大佬甩出「喵喵GPT」黑客！分享ChatGPT成功的秘密：極限壓榨GPU資源

新智元報(bào)道編輯：潤【新智元導(dǎo)讀】OpenAI的工程團(tuán)隊(duì)經(jīng)理（Engineering Manager）Evan Morikawa在一個開發(fā)者活動中分享了如何帶領(lǐng)OpenAI的工程團(tuán)隊(duì)來應(yīng)對ChatG...
閱讀原文
1…3456