標(biāo)簽：內(nèi)存

圖解當(dāng)紅推理框架vLLM的核心技術(shù)PagedAttention

生成式AI時(shí)代最火AI芯片峰會(huì)下月來(lái)襲！9月6-7日，智猩猩發(fā)起主辦的2024全球AI芯片峰會(huì)將在北京盛大舉行。峰會(huì)設(shè)有開(kāi)幕式、數(shù)據(jù)中心AI芯片專(zhuān)場(chǎng)、邊緣/端側(cè)AI芯...
閱讀原文

357元！樹(shù)莓派5推出2GB版本：比4GB版便宜16%，除內(nèi)存外幾乎無(wú)減配

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI50美元（約357人民幣），更便宜的樹(shù)莓派5它來(lái)了！ 剛剛，樹(shù)莓派宣布Raspberry Pi 5正式上線2GB版本，而且是現(xiàn)貨發(fā)...
閱讀原文

從電梯故障到編程新寵，Rust為何連續(xù)七年稱霸「最受推崇語(yǔ)言」

新智元報(bào)道編輯：?jiǎn)虠?【新智元導(dǎo)讀】幾十年來(lái)，程序員一直用C和C++編寫(xiě)關(guān)鍵系統(tǒng)，現(xiàn)在Rust正逐漸成為這類(lèi)任務(wù)的首選。在StackOverflow每年發(fā)布的開(kāi)發(fā)者調(diào)查...
閱讀原文

Mamba再次挑戰(zhàn)霸主Transformer！首個(gè)通用Mamba開(kāi)源大模型一鳴驚人

新智元報(bào)道編輯：編輯部 【新智元導(dǎo)讀】TII開(kāi)源全球第一個(gè)通用的大型Mamba架構(gòu)模型Falcon Mamba 7B，性能與Transformer架構(gòu)模型相媲美，在多個(gè)基準(zhǔn)測(cè)試上的均...
閱讀原文

類(lèi)腦計(jì)算有望徹底改變計(jì)算領(lǐng)域，甚至超越人腦，豐田合作綜述類(lèi)腦計(jì)算的興起

將 ScienceAI設(shè)為星標(biāo) 第一時(shí)間掌握 新鮮的 AI for Science 資訊編輯 |KX 最近，微軟系統(tǒng)故障導(dǎo)致全球大范圍宕機(jī)。計(jì)算已經(jīng)成為我們生活中不可或缺的一部分。...
閱讀原文

想跑千億大模型？算力廠商放大招！CPU通用服務(wù)器成為新選擇

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI千億參數(shù)規(guī)模的大模型推理，服務(wù)器僅用4顆CPU就能實(shí)現(xiàn)！ 在一臺(tái)CPU通用服務(wù)器上，浪潮信息成功跑通了102B大模型推...
閱讀原文

GPU訓(xùn)Llama 3.1瘋狂崩潰，竟有大廠用CPU服務(wù)器跑千億參數(shù)大模型？

新智元報(bào)道編輯：編輯部 【新智元導(dǎo)讀】是時(shí)候用CPU通用服務(wù)器跑千億參數(shù)大模型了！馬斯克19天建成由10萬(wàn)塊H100串聯(lián)的世界最大超算，已全力投入Grok 3的訓(xùn)練...
閱讀原文

顛覆傳統(tǒng)架構(gòu)！華人科學(xué)家 20 年心血：AI 能效提高 1000 倍，未來(lái)需求井噴！

整理 | Tina、褚杏娟 近日，明尼蘇達(dá)大學(xué)科學(xué)與工程學(xué)院的一組研究人員展示了一種數(shù)據(jù)永遠(yuǎn)不會(huì)離開(kāi)內(nèi)存的新模型，稱為計(jì)算隨機(jī)存取存儲(chǔ)器（CRAM）。與目前的...
閱讀原文

30B！每秒100tokens！這是AMD對(duì)AI PC的“幻想時(shí)間”

夕小瑤科技說(shuō) 原創(chuàng)作者 | 谷雨龍澤隨著AI的高速發(fā)展，從去年開(kāi)始，掛在服務(wù)器的云端AI模型已經(jīng)不能滿足技術(shù)發(fā)燒友的胃口了，AI PC應(yīng)運(yùn)而生。 AI PC就是內(nèi)嵌個(gè)...
閱讀原文

五年后的今天，訓(xùn)練GPT-2只需不到700刀、24小時(shí)，Karpathy又整新活

機(jī)器之心報(bào)道 編輯：杜偉、澤南論老黃賣(mài)鏟子的技術(shù)含量。2019 年 2 月，OpenAI 發(fā)布了 GPT-2，因?yàn)樵谖谋旧缮系膬?yōu)異表現(xiàn)，以及對(duì)于預(yù)訓(xùn)練 Transformer 架構(gòu)...
閱讀原文

H100利用率飆升至75%！英偉達(dá)親自下場(chǎng)FlashAttention三代升級(jí)，比標(biāo)準(zhǔn)注意力快16倍

明敏 克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI大模型訓(xùn)練推理神作，又更新了！ 主流大模型都在用的FlashAttention，剛剛升級(jí)第三代。 時(shí)隔一年，F(xiàn)lashAtten...
閱讀原文

Adam有了mini版：內(nèi)存占用少一半，吞吐量提升50%

機(jī)器之心報(bào)道 編輯：panda在訓(xùn)練大型語(yǔ)言模型（LLM）時(shí)，Adam(W) 基本上已經(jīng)成為了人們默認(rèn)使用的優(yōu)化器。 Adam 盡管性能優(yōu)異，但使用成本很高。具體來(lái)說(shuō)，Ad...
閱讀原文

ICML 2024高分論文 | 零階優(yōu)化器微調(diào)大模型，大幅降低內(nèi)存

AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

甲骨文首次將LLMs引入數(shù)據(jù)庫(kù)，集成Llama 3和Mistral，和數(shù)據(jù)庫(kù)高效對(duì)話

夕小瑤科技說(shuō) 原創(chuàng)作者 | 21# 信息時(shí)代，數(shù)據(jù)為王。數(shù)據(jù)庫(kù)作為數(shù)據(jù)存儲(chǔ)&管理的一種方式，正在以勢(shì)不可擋的趨勢(shì)與AI結(jié)合。 前有OpenAI 收購(gòu)了數(shù)據(jù)庫(kù)初創(chuàng)公...
閱讀原文

蘋(píng)果 Xcode 新功能不支持部分入門(mén)款 Mac，8GB 內(nèi)存真不夠用了？

8GB 內(nèi)存 終究不夠用就在前不久，WWDC 2024 正式謝幕。作為「全球開(kāi)發(fā)者大會(huì)」，這場(chǎng)發(fā)布會(huì)的核心群體當(dāng)然是全球的開(kāi)發(fā)者們。 除了一系列新系統(tǒng)外，蘋(píng)果還推...
閱讀原文
1234…6