大模型算力的「熱」與 10 億萬卡成本的「冷」思考

AIGC動態歡迎閱讀

原標題：大模型算力的「熱」與 10 億萬卡成本的「冷」思考
關鍵字：模型,中心,服務器,成本,機柜
文章來源：AI科技評論
內容字數：10541字

內容摘要：

大模型原生應用仍未爆發，誰能cover動輒10億/年的萬卡成本？作者丨郭 思
編輯丨陳彩嫻
人工智能的快速發展催生了智算中心這個概念。自 2023 年下半年起，中國智能計算中心的建設速度明顯提升。
據不完全統計，目前已有超過30個城市投身于智算中心的建設或規劃之中。
一方面，隨著生成式人工智能的飛速進步和對大模型需求的急劇膨脹，處理和分析海量數據所需的強大算力變得至關重要。
另一方面，市場在追求規模效應的過程中，出現了盲目超前的建設和大量囤積現象，導致對需求的管理不夠精細，運營過程缺乏透明度和監管，從而引發了智算中心的空轉甚至停機問題。這不僅未能充分利用設備生命周期的潛在價值，還造成了資源和資金的浪費。
實際上，空轉率在算力行業并非鮮見，它是一個重要的指標，無論人工智能需求量大小，都需關注。即便在我們的日常生活中，家用 PC 也存在空轉率問題。然而，大模型的式增長使得這一問題變得尤為關鍵，只是由于現在行業仍處于一卡難求的供不應求時期，它的緊迫性尚不顯著。
大模型加碼，算力行業迎來新的機遇，在這波熱潮之下，對于整個算力的部署，我們也需要一些不一樣的冷思考。1運行一座 AI 智算中心需

原文鏈接：大模型算力的「熱」與 10 億萬卡成本的「冷」思考

聯系作者

文章來源：AI科技評論
作者微信：aitechtalk
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。