AIGC動態歡迎閱讀
原標題:首個國產全功能GPU的萬卡集群來了!“中國英偉達”出品
關鍵字:集群,線程,模型,顯存,效率
文章來源:量子位
內容字數:0字
內容摘要:
金磊 發自 凹非寺量子位 | 公眾號 QbitAI純國產GPU的萬卡集群,它來了!
而且還是國內首個全功能GPU,兼容CUDA的那種。
這個集結了超過10000張高性能GPU的超復雜工程,它的算力有多大?
不賣關子,直接揭曉答案——
總算力超萬P,專為萬億參數級別的復雜大模型訓練而設計。
規模還只是它的特點之一,其它亮眼的地方還包括:
有效計算效率(MFU)目標最高達60%,可達到國際水平
周均訓練有效率目標最高可達99%以上,平均無故障運行15天以上,也是對標業界最高標準
通用場景設計,加速一切大模型
生態Day0級快速遷移,與CUDA兼容
這便是江湖人稱“中國版英偉達”的摩爾線程,對自家智算中心全棧解決方案夸娥(KUAE)升級后的最新 “打開方式”。
而縱觀國內算力的發展進程,僅是今年上半年便陸陸續續有不少“頭部玩家”先后宣布布局萬卡集群,“打群架”之勢,好不熱鬧。
但,萬卡國產GPU,確實很少見。
加之以生成式AI為主旋律的大模型熱潮當道,Scaling Law的“魔法”仍在持續奏效,訓練GPT-4所需要的GPU數量便已經達到了25000個。
以及在大模型架構方面也不只是圍繞Tr
原文鏈接:首個國產全功能GPU的萬卡集群來了!“中國英偉達”出品
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...