標(biāo)簽：集群

從動(dòng)物群體行為到大腦空間決策，復(fù)雜性如何啟發(fā)智能探索？

導(dǎo)語(yǔ)鳥群、蝗蟲群、魚群，在這些看似混亂的生物群體中，秩序奇跡般地涌現(xiàn)。不同物種的群體行為在細(xì)節(jié)上有所差異，但它們大致遵循物理學(xué)家們幾個(gè)世紀(jì)以來(lái)總結(jié)...
閱讀原文

全球首個(gè)支持單任務(wù)千卡規(guī)模異構(gòu)芯片混合訓(xùn)練平臺(tái)，來(lái)自無(wú)問芯穹

機(jī)器之心發(fā)布 機(jī)器之心編輯部“打開水龍頭前，我們不需要知道水是從哪條河里來(lái)的。同理，未來(lái)我們用各種 AI 應(yīng)用時(shí)，也不會(huì)知道它調(diào)用了哪些基座模型，用到了...
閱讀原文

國(guó)產(chǎn)GPU萬(wàn)卡集群終于來(lái)了！摩爾線程CEO張建中：做難而正確的事

萬(wàn)卡集群殺出國(guó)產(chǎn)GPU黑馬！萬(wàn)P算力萬(wàn)億參數(shù)，零代碼修改可遷移。 作者|ZeR0 編輯|漠影 “AI主戰(zhàn)場(chǎng)，萬(wàn)卡是最低標(biāo)配！” 在2024世界人工智能大會(huì)開幕前夕，摩爾...

首個(gè)國(guó)產(chǎn)全功能GPU的萬(wàn)卡集群來(lái)了！“中國(guó)英偉達(dá)”出品

金磊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI純國(guó)產(chǎn)GPU的萬(wàn)卡集群，它來(lái)了！ 而且還是國(guó)內(nèi)首個(gè)全功能GPU，兼容CUDA的那種。 這個(gè)集結(jié)了超過10000張高性能GPU的超...
閱讀原文

AI主戰(zhàn)場(chǎng)，萬(wàn)卡是標(biāo)配：國(guó)產(chǎn)GPU萬(wàn)卡萬(wàn)P集群來(lái)了！

機(jī)器之心報(bào)道 機(jī)器之心編輯部Scaling Law 持續(xù)見效，讓算力就快跟不上大模型的膨脹速度了。「規(guī)模越大、算力越高、效果越好」成為行業(yè)圭皋。主流大模型從百億...
閱讀原文

如何構(gòu)建10萬(wàn)張H100的大模型訓(xùn)練集群

直播預(yù)告 | 7月2日10點(diǎn)，「智猩猩AI新青年講座」第242講正式開講，香港大學(xué)計(jì)算機(jī)系HKU-MMLAB二年級(jí)博士生梁志烜將直播講解《利用技能學(xué)習(xí)的擴(kuò)散策略實(shí)現(xiàn)層次...
閱讀原文

全美TOP 5機(jī)器學(xué)：痛心，實(shí)驗(yàn)室H100數(shù)量為0！同實(shí)驗(yàn)室博士用GPU得靠搶

新智元報(bào)道編輯：編輯部 【新智元導(dǎo)讀】全美TOP 5的機(jī)器學(xué)習(xí)博士痛心發(fā)帖自曝，自己實(shí)驗(yàn)室里H100數(shù)目是0！這也引起了ML社區(qū)的全球網(wǎng)友大討論。顯然，相比普林...
閱讀原文

有錢買卡還不夠，10萬(wàn)卡H100集群有多難搭？一文解析算力集群技術(shù)要點(diǎn)

新智元報(bào)道編輯：?jiǎn)虠?好困 【新智元導(dǎo)讀】在英偉達(dá)市值猛漲、各家科技巨頭囤芯片的熱潮中，我們往往會(huì)忽視GPU芯片是如何轉(zhuǎn)變?yōu)閿?shù)據(jù)中心算力的。最近，一篇Se...
閱讀原文

千卡集群大模型訓(xùn)練思考與總結(jié)

直播預(yù)告 | 6月20日晚7點(diǎn)，「智猩猩機(jī)器人新青年講座」第8講正式開講，清華大學(xué)THUNLP lab在讀博士胡錦毅將直播講解《面向多模態(tài)大模型的具身智能平臺(tái)LEGENT...
閱讀原文

網(wǎng)絡(luò)架構(gòu)如何支持超萬(wàn)卡的大規(guī)模 AI 訓(xùn)練？

演講嘉賓 | 席永青 AI 訓(xùn)練場(chǎng)景的算力 Scaling 核心是網(wǎng)絡(luò)，依賴于大規(guī)模、高性能的數(shù)據(jù)中心網(wǎng)絡(luò)集群來(lái)實(shí)現(xiàn)算力的規(guī)模擴(kuò)展，為此，阿里云設(shè)計(jì)了 HPN7.0 架構(gòu)...
閱讀原文

“反英偉達(dá)聯(lián)盟”成立，UALink能否取代NVLink？｜甲子光年

一流的企業(yè)做標(biāo)準(zhǔn)。作者｜王藝 編輯｜趙健?? 看不下去英偉達(dá)的壟斷，科技巨頭們聯(lián)合出手了。 據(jù)科技媒體TechCrunch最新消息，英特爾、谷歌、微軟、Meta、AMD...
閱讀原文

馬斯克 xAI 獲 60 億美元融資，要造一個(gè)「超級(jí)算力工廠」

xAI 計(jì)劃建造 超級(jí)算力工廠就在剛剛， xAI 官宣拿到了 60 億美元的 B 輪融資，其估值也一躍達(dá)到約 180 億美元。 本輪融資的主要投資者包括特斯拉和 SpaceX 的...
閱讀原文

馬斯克燒幾十億美元造最大超算中心，10萬(wàn)塊H100訓(xùn)練Grok追趕GPT-4o

新智元報(bào)道編輯：?jiǎn)虠詈美?【新智元導(dǎo)讀】最近，許久沒有新動(dòng)向的馬斯克放出了大消息——他旗下的人工智能初創(chuàng)公司xAI將投入巨資建造一個(gè)超算中心，以保證Grok ...
閱讀原文

英偉達(dá)贏麻了！馬斯克xAI超級(jí)算力工廠曝光，10萬(wàn)塊H100、數(shù)十億美元

機(jī)器之心報(bào)道 編輯：杜偉英偉達(dá)：盡管建，用的還是我的芯片，最近幾年，隨著大語(yǔ)言模型的飛速發(fā)展與迭代，科技巨頭們都競(jìng)相投入巨額財(cái)力打造超級(jí)計(jì)算機(jī)（或大...
閱讀原文

焱融科技張文濤：將大模型訓(xùn)練效率提升40%！詳解多云架構(gòu)下高效存儲(chǔ)策略丨GenAICon 2024

破題大模型算力荒，如何打造高性能存儲(chǔ)底盤？ 2024中國(guó)生成式AI大會(huì)于4月18-19日在北京舉行，在大會(huì)第二天的主會(huì)場(chǎng)AI Infra專場(chǎng)上，焱融科技CTO張文濤以《多...
閱讀原文