標簽:內存

4090成A100平替?token生成速度只比A100低18%,上交大推理引擎火了

機器之心報道 機器之心編輯部PowerInfer 使得在消費級硬件上運行 AI 更加高效。上海交大團隊最新推出了超強 CPU/GPU LLM 高速推理引擎 PowerInfer。PowerInfe...
閱讀原文

進入蘋果最神秘的芯片實驗室,回顧蘋果歷代CPU構架,展現3萬億公司成長之路

新智元報道編輯:alan 潤【新智元導讀】蘋果創造了資本主義歷史上最成功的產品,成為第一家市值達到1萬億美元的企業。讓我們一起探究蘋果最神秘的芯片研發部...
閱讀原文

不是大模型全局微調不起,只是LoRA更有性價比,教程已經準備好了

選自 Sebastian Raschka 博客機器之心編譯編輯:佳琪這是作者 Sebastian Raschka 經過數百次實驗得出的經驗,值得一讀。增加數據量和模型的參數量是公認的提...
閱讀原文

AWS和英偉達打造了一臺16,384個超級芯片的超級計算機

點擊上方藍字關注我們“ 亞馬遜網絡服務(AWS)與Nvidia達成戰略合作,提供基于Nvidia GPU的生成AI基礎設施,包括Ceiba項目創建的AI超級計算機,Nvidia DGX Cl...
閱讀原文

M3 MacBook Pro 評測:Mac 可以打游戲了,但這不是它最大的亮點

長板更長短板不短眾所周知,人眼之所以能看見色彩斑斕的世界,是因為不同波長的光反射到了我們眼里,波長較長的光成為了明艷的紅色,波長較短的光則是深郁的...
閱讀原文

S-LoRA:一個GPU運行數千大模型成為可能

機器之心報道編輯:蛋醬一般來說,大語言模型的部署都會采用「預訓練 — 然后微調」的模式。但是,當針對眾多任務(如個性化助手)對 base 模型進行微調時,訓...
閱讀原文

最強AI芯片英偉達H200深夜發布,Llama2-70B推理提速90%,2024年二季度發貨

機器之心報道編輯:蛋醬、陳萍芯片巨頭英偉達,又打出一張王牌。英偉達在 2023 年全球超算大會(SC2023)上發布了目前世界上最強的 AI 芯片 H200。這款新的 G...
閱讀原文

囤H100的都成了大冤種!英偉達發布最新AI芯片H200:性能提升2倍,成本下降50%

編譯 | 核子可樂、Tina 周一,半導體行業巨頭英偉達發布了新一代人工智能芯片 H200,旨在為各種 AI 模型提供訓練和部署支持。H200 芯片是目前用于訓練最先進...
閱讀原文

最強大模型訓練芯片H200發布!141G大內存,AI推理最高提升90%,還兼容H100

夢晨 克雷西 發自 凹非寺量子位 | 公眾號 QbitAI英偉達老黃,帶著新一代GPU芯片H200再次炸場。官網毫不客氣就直說了,“世界最強GPU,專為AI和超算打造”。聽說...
閱讀原文

英偉達推出H200,用于訓練 AI 模型的最新高端芯片

點擊上方藍字關注我們“ Nvidia發布了新的H200 AI加速器,速度幾乎翻倍,采用HBM3e內存。此外,云服務提供商將于明年提供H200實例,GH200超級芯片也將升級。Eo...
閱讀原文

愛立信被曝裁掉整個廣州研發團隊:賠償N+3加年終獎;英偉達將為中國定制三款芯片;馬斯克旗下首款機器人將開源 | AI一周資訊

整理 | 凌敏 英偉達將為中國“定制”三款芯片,本月 16 日正式推出;OpenAI 工程師平均薪酬 92.5 萬美元;蘋果高管回應“黃金內存”質疑:8GB 和其它系統的 16GB ...
閱讀原文

當大模型被塞進PC:如何提升算力利用效率?

作者 | 凌敏 ChatGPT 的爆火掀起了 AI 大模型熱潮,也進一步拉動了算力需求的爆發,面對呈指數級增長的算力需求,如何用得起、用得上、用得好算力成為大家普...
閱讀原文

首款生成式AI移動芯片天璣9300:能跑330億參數大模型

機器之心報道作者:澤南AI 畫圖一秒生成,大語言模型一秒 20 token。2023 年是生成式 AI 的元年,我們手上的移動設備也在加速進入大模型時代。11 月 6 日晚,...
閱讀原文

天璣9300拿下生成式AI最強移動芯,端側支持330億大模型,1秒內AI畫圖,全新全大核架構做底座

明敏 發自 凹非寺量子位 | 公眾號 QbitAI最強生成式AI終端芯片,現已易主!天璣9300一舉支持運行最大330億參數大模型,短短幾周時間內刷新業界紀錄。它是業界...
閱讀原文

OpenAI大佬甩出「喵喵GPT」黑客!分享ChatGPT成功的秘密:極限壓榨GPU資源

新智元報道編輯:潤【新智元導讀】OpenAI的工程團隊經理(Engineering Manager)Evan Morikawa在一個開發者活動中分享了如何帶領OpenAI的工程團隊來應對ChatG...
閱讀原文
13456