國產(chǎn)GPU萬卡集群終于來了！摩爾線程CEO張建中：做難而正確的事

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：國產(chǎn)GPU萬卡集群終于來了！摩爾線程CEO張建中：做難而正確的事
關(guān)鍵字：集群,模型,線程,報(bào)告,華為
文章來源：智東西
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

萬卡集群殺出國產(chǎn)GPU黑馬！萬P算力萬億參數(shù)，零代碼修改可遷移。
作者|ZeR0
編輯|漠影
“AI主戰(zhàn)場，萬卡是最低標(biāo)配！”
在2024世界人工智能大會(huì)開幕前夕，摩爾線程創(chuàng)始人兼CEO張建中拋出一句擲地有聲的斷言。
為什么必須是萬卡？大模型行業(yè)變化很快，客戶希望兩周內(nèi)結(jié)束戰(zhàn)斗，最遲也得在1個(gè)月內(nèi)訓(xùn)練完。假設(shè)訓(xùn)練一個(gè)5000億參數(shù)模型，有15TB數(shù)據(jù)，如果只有1000P算力，3年都訓(xùn)不完；如果將時(shí)間鎖到兩周或1個(gè)月，10000P是最低保障。
在海外，擁有1.8萬億參數(shù)的GPT-4大模型需要用25000張A100 GPU訓(xùn)100天，折算成H100則需要1000張；Meta今年推出2個(gè)24576張H100集群，用于訓(xùn)練Llama 3等新模型；本周馬斯克自曝新版Grok 3訓(xùn)練用了10萬張H100 GPU。
在國內(nèi)，萬卡集群建設(shè)高歌猛進(jìn)。去年7月，華為昇騰AI集群規(guī)模擴(kuò)展至16000卡；10月，科大訊飛宣布啟動(dòng)萬卡集群算力平臺(tái)“飛星一號(hào)”；今年3月，天翼云上海臨港國產(chǎn)萬卡算力池啟用；4月，中國移動(dòng)宣布今年將商用3個(gè)自主可控萬卡集群……一眾云大廠更是囤卡攢算力專業(yè)戶，將大模型訓(xùn)練集群規(guī)模卷向1

原文鏈接：國產(chǎn)GPU萬卡集群終于來了！摩爾線程CEO張建中：做難而正確的事

聯(lián)系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。