直擊算力焦慮，這家清華系 AI 創企搞了個千卡異構混訓平臺，算力利用率最高達 97.6%

AIGC動態歡迎閱讀

原標題：直擊算力焦慮，這家清華系 AI 創企搞了個千卡異構混訓平臺，算力利用率最高達 97.6%
關鍵字：華為,芯片,模型,通信,解讀
文章來源：AI前線
內容字數：0字

內容摘要：

以 GPT-4 為主要代表的大模型在自然語言處理、機器翻譯和文本生成等任務中表現出了卓越的效能，從而給各個領域帶來了性的變化。隨著模型的參數從數百萬擴展到數十億甚至數萬億，也帶來了巨大的計算和內存挑戰，大模型訓練所用的大規模算力及相關技術成為大模型應用落地和產業發展最基本的支撐。然而隨著對大規模集群需求的日益增加，算力荒的問題也逐漸顯現，如何破局這一困境成為了行業亟待解決的關鍵問題。
7 月 4 日，在 2024 年世界人工智能大會 AI 基礎設施論壇上，無問芯穹聯合創始人兼 CEO 夏立雪發布了全球首個千卡規模異構芯片混訓平臺，和同構訓練相比，千卡異構混合訓練利用率最高達到了 97.6%。這也是全球首個可進行單任務千卡規模異構芯片混合訓練的平臺，具備萬卡擴展性，支持包括 AMD、華為昇騰、天數智芯、沐曦、摩爾線程、NVIDIA 六種異構芯片在內的大模型混合訓練。
當前，全球范圍內在大模型訓練領域，主流做法是結合 PyTorch、Megatron 等先進的計算框架與英偉達（NVIDIA）的 GPU 芯片進行高效分布式訓練。盡管英偉達 GPU 在大模型訓練所需的算力供給中占據主導地

原文鏈接：直擊算力焦慮，這家清華系 AI 創企搞了個千卡異構混訓平臺，算力利用率最高達 97.6%

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。