標(biāo)簽:集群
如何為混合AI打好算力地基?聯(lián)想集團(tuán)已率先交卷
混合AI時(shí)代算力的“萬全之策”。 作者|程茜 編輯|漠影 如今,個(gè)人大模型和企業(yè)大模型以及在其基礎(chǔ)上發(fā)展出的個(gè)人智能體和企業(yè)智能體,將與公有大模型共存互補(bǔ),...
千卡集群算力競(jìng)賽,國(guó)產(chǎn)大模型終于等來了“中國(guó)英偉達(dá)”|甲子光年
國(guó)產(chǎn)算力新突破。作者|趙健 在替代英偉達(dá)的道路上,國(guó)產(chǎn)算力一直面臨一個(gè)“雞生蛋、蛋生雞”的難題。 當(dāng)國(guó)產(chǎn)芯片問世之后,要想真正用起來,需要種子客戶用實(shí)...
國(guó)產(chǎn)GPU重大利好!“中國(guó)英偉達(dá)”千卡集群已就位
金磊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI算力基礎(chǔ)設(shè)施建設(shè),北京市有了最新的大動(dòng)作—— 《北京市算力基礎(chǔ)設(shè)施建設(shè)實(shí)施方案(2024-2027年)》。 其中,《方案》...
百模大戰(zhàn)引爆「千卡集群競(jìng)賽」,“中國(guó)英偉達(dá)”交卷了
大模型引發(fā)AI算力荒,新一代千卡集群喂飽國(guó)產(chǎn)新苗子。 作者|三北 編輯|漠影 大模型正引發(fā)一波新的AI算力荒,從此前的芯片緊缺,上升為AI算力集群級(jí)的饑渴癥。...
OpenAI陷巨大算力荒,國(guó)內(nèi)大廠搶先破局!打破單芯片限制,算力效率提升33%
新智元報(bào)道編輯:編輯部 【新智元導(dǎo)讀】一切計(jì)算皆AI已成為行業(yè)共識(shí)。大模型參數(shù)規(guī)模從千億走向萬億,從單一走向MoE,對(duì)算力的需求愈加龐大。我們需要理清的...
對(duì)話國(guó)產(chǎn)“算力黑馬”:27億元大單背后,英博數(shù)科周韡韡的AGI探索之路
▲圖片由AI生成 從ChatGPT到Sora,通用模型為王,智算產(chǎn)業(yè)現(xiàn)“隱形護(hù)城河”。 作者|國(guó)仁 李水青 編輯|漠影 當(dāng)下中國(guó)科技圈,什么樣的創(chuàng)業(yè)公司最吃香?或許是身處...
4萬億晶體管5nm制程,全球最快AI芯片碾壓H100!單機(jī)可訓(xùn)24萬億參數(shù)LLM,Llama 70B一天搞定
新智元報(bào)道編輯:桃子 好困 【新智元導(dǎo)讀】AI世界的進(jìn)化快的有點(diǎn)跟不上了。剛剛,全球最強(qiáng)最大AI芯片WSE-3發(fā)布,4萬億晶體管5nm工藝制程。更厲害的是,WSE-3...
Meta公布Llama 3訓(xùn)練集群細(xì)節(jié)!儲(chǔ)備60萬塊H100迎接AGI
新智元報(bào)道編輯:潤(rùn) 【新智元導(dǎo)讀】LLM開源從Infra做起!Meta公布了自己訓(xùn)練Llama 3的H100集群細(xì)節(jié),看來Llama 3快來了。每年3月份,照例各家大廠又要開始秀...
為L(zhǎng)lama 3鋪路:Meta推出2個(gè)24K GPU集群|甲子光年
35萬張 H100 的算力平臺(tái)將為大模型領(lǐng)域帶來什么改變?編譯|艾倫 編輯|栗子 3月12日,Meta 推出2個(gè) 24KGPU集群,為訓(xùn)練 Llama3 構(gòu)建超強(qiáng)資源池。 在 Meta 工...
Llama3訓(xùn)練集群揭秘,共24,576 個(gè) GPU
點(diǎn)擊上方藍(lán)字關(guān)注我們“Meta 公司透露了其專為 AI 訓(xùn)練設(shè)計(jì)的先進(jìn)硬件基礎(chǔ)設(shè)施細(xì)節(jié)。這些集群包括 24,576 個(gè) GPU,采用了創(chuàng)新的網(wǎng)絡(luò)結(jié)構(gòu)解決方案,為支持當(dāng)前...
Meta公開 Llama-3基礎(chǔ)訓(xùn)練設(shè)施:使用了49,000個(gè)H100
來源 | 授權(quán)轉(zhuǎn)載自AIGC開放社區(qū)(公眾號(hào)ID:AIGCOPEN) 3 月 13 日,社交、科技巨頭 Meta 在官網(wǎng)公布了兩個(gè)全新的 24K H100 GPU 集群(49,152 個(gè)),專門用于...
專為訓(xùn)練Llama 3,Meta 4.9萬張H100集群細(xì)節(jié)公布
機(jī)器之心報(bào)道 機(jī)器之心編輯部只想知道 Llama 3 何時(shí)能來?生成式大模型給人工智能領(lǐng)域帶來了重大變革,人們?cè)诳吹綄?shí)現(xiàn)通用人工智能(AGI)希望的同時(shí),訓(xùn)練、...
前谷歌科學(xué)家離職創(chuàng)業(yè)1年,自述訓(xùn)練LLM卡在算力上!買卡就像中彩票,Karpathy轉(zhuǎn)贊
新智元報(bào)道編輯:桃子 【新智元導(dǎo)讀】一家大模型初創(chuàng)公司從創(chuàng)立到訓(xùn)練出大模型,要克服怎樣的難題?前谷歌科學(xué)家離職后創(chuàng)業(yè)一年,發(fā)文自述算力是訓(xùn)練大模型的...
「還是谷歌好」,離職創(chuàng)業(yè)一年,我才發(fā)現(xiàn)訓(xùn)練大模型有這么多坑
機(jī)器之心報(bào)道 編輯:蛋醬、小舟Karpathy:中肯的,一針見血的。 如何在不到一年的時(shí)間里創(chuàng)辦一家公司、籌集資金、購(gòu)買芯片,并搭建出追趕 Gemini pro/GPT 3.5...
字節(jié)萬卡集群技術(shù)細(xì)節(jié)公開:2天搞定GPT-3訓(xùn)練,算力利用率超英偉達(dá)Megatron-LM
魚羊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI隨著對(duì)Sora技術(shù)分析的展開,AI基礎(chǔ)設(shè)施的重要性愈發(fā)凸顯。 來自字節(jié)和北大的一篇新論文在此時(shí)吸引關(guān)注: 文章披露,...