4萬億晶體管5nm制程，全球最快AI芯片碾壓H100！單機可訓24萬億參數LLM，Llama 70B一天搞定

AIGC動態歡迎閱讀

原標題：4萬億晶體管5nm制程，全球最快AI芯片碾壓H100！單機可訓24萬億參數LLM，Llama 70B一天搞定
關鍵字：模型,集群,芯片,系統,參數
文章來源：新智元
內容字數：4741字

內容摘要：

新智元報道編輯：桃子 好困
【新智元導讀】AI世界的進化快的有點跟不上了。剛剛，全球最強最大AI芯片WSE-3發布，4萬億晶體管5nm工藝制程。更厲害的是，WSE-3打造的單個超算可訓出24萬億參數模型，相當于GPT-4/Gemini的十倍大。全球最快、最強的AI芯片面世，讓整個行業瞬間驚掉了下巴！
就在剛剛，AI芯片初創公司Cerebras重磅發布了「第三代晶圓級引擎」（WSE-3）。
性能上，WSE-3是上一代WSE-2的兩倍，且功耗依舊保持不變。
90萬個AI核心，44GB的片上SRAM存儲，讓WSE-3的峰值性能達到了125 FP16 PetaFLOPS。
這相當于52塊英偉達H100 GPU！
不僅如此，相比于800億個晶體管，芯片面積為814平方毫米的英偉達H100。
采用臺積電5nm制程的WSE-3，不僅搭載了40000億個晶體管（50倍），芯片面積更是高達46225平方毫米（57倍）。
專為AI打造的計算能力此前，在傳統的GPU集群上，研究團隊不僅需要科學地分配模型，還必須在過程中處理各種復雜問題，比如處理器單元的內存容量、互聯帶寬、同步機制等等，同時還要不斷調整超參

原文鏈接：4萬億晶體管5nm制程，全球最快AI芯片碾壓H100！單機可訓24萬億參數LLM，Llama 70B一天搞定

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。