國內最強AI芯片公司,適配滿血版 DeepSeek 的目標是 25 Tokens/s。
原標題:部分國產芯片適配滿血版 DeepSeek,仍「遙遙無期」
文章來源:AI科技評論
內容字數:6629字
國產AI芯片公司與DeepSeek:適配之路與未來展望
本文探討了國產AI芯片公司適配DeepSeek大模型的現狀及挑戰,以及這對于AI芯片公司發展和上市的影響。
1. 蒸餾版與滿血版DeepSeek:分水嶺與挑戰
許多國產AI芯片公司快速適配了DeepSeek的蒸餾版模型,這相對容易,因為其參數較小,易于部署,且能滿足普通用戶的需求,對AI普及意義重大。然而,適配滿血版DeepSeek(參數高達671B)則難度顯著提升,成為衡量AI芯片公司實力的分水嶺。目前僅少數幾家公司公開宣布完成適配,且性能普遍不佳。
2. 滿血版DeepSeek適配的難點
適配滿血版DeepSeek面臨兩大主要挑戰:一是多機互聯。由于滿血版模型體積巨大,需要多臺服務器協同工作,而國產AI芯片在多機互聯技術(如NVLink的替代方案)方面相對落后,導致通信延遲高,影響性能。二是MoE混合專家系統。DeepSeek的MoE系統引入了動態路由機制,這與傳統的Transformer模型不同,對芯片架構提出了新的挑戰。此外,國產AI芯片普遍缺乏對FP8數據類型的原生支持,導致效率降低,需要更多算力資源。
3. 國內AI芯片公司適配現狀及未來展望
目前,國內領先的AI芯片公司在滿血版DeepSeek的適配速度上仍有較大提升空間,目標是在二月底前達到25 tokens/s。一些公司已經達到10 tokens/s,但與英偉達H100相比仍有較大差距。業內人士預測,未來一個月內,可能有一半的AI芯片公司無法有效適配滿血版DeepSeek。然而,具備大模型部署經驗的公司,適配只是時間問題。 能夠快速有效支持滿血版DeepSeek,將大幅提升AI芯片公司上市概率,因為這能直接體現其技術實力,并為其帶來真實的業績。
4. DeepSeek對產業的影響
DeepSeek的火爆對國內芯片產業、智算中心及AI應用發展均是重大利好。然而,國產AI芯片公司在技術方面仍需努力,尤其是在多機互聯、對新數據類型的支持以及對MoE等新架構的適配方面。一些專家指出,國產AI芯片公司在研發方面缺乏前沿的指導,導致在一些關鍵技術上落后于國際領先水平。
5. 總結
適配DeepSeek滿血版模型是國產AI芯片公司面臨的一場重要考驗。雖然挑戰重重,但這也將推動國產AI芯片技術快速發展,最終促進整個AI產業生態的繁榮。 能否在技術上迎頭趕上,并最終在市場競爭中勝出,將是決定國產AI芯片公司未來發展走向的關鍵。
聯系作者
文章來源:AI科技評論
作者微信:
作者簡介:雷峰網旗下AI新媒體。聚焦AI前沿研究,關注AI工程落地。