AI算力私有云系統

AiseeCloud – AI容器云平臺

AiseeCloud – AI容器云平臺主要面向企業客戶及開發者，提供輕量化、高性價比的機器學習解決方案。

向使用算力的用戶提供了對數據、算法、鏡像、模型與算力等資源的管理與使用，方便用戶一站式構建計算環境，實現計算。

同時，向集群管理人員提供了集群資源管理與監控，計算任務管理與監控等功能，方便集群管理人員對整體系統進行操作與分析。

適用場景

• 構建大規模 AI 計算平臺
• 希望共享計算資源
• 希望在統一的環境下完成模型訓練
• 希望使用集成的插件輔助模型訓練，提升效率

系統演示及購買

微信掃碼并備注：AiseeCloud

平臺特點

• 一站式開發
  為用戶提供一站式AI計算場景的開發功能，通過數據管理、模型開發和模型訓練，打通AI計算全鏈路；
• 方便管理
  為平臺管理者提供一站式的資源管理平臺，通過資源配置、監控、管控等可視化工具，大大降低平臺管理者的管理成本；
• 易于部署
  支持 helm 方式的快速部署，簡化復雜的部署流程；
• 性能優越
  提供高性能的分布式計算體驗，通過多方面優化來保證各個環境的流暢運行，同時通過資源調度優化與分布式計算優化，進一步提高模型訓練效率；
• 兼容性好
  平臺支持異構硬件，如 GPU、NPU、FPGA等，滿足各種不同的硬件集群部署需求，通過支持多種深度學習框架，如TensorFlow、Pytorch、PaddlePaddle 等，并可以通過自定義鏡像方式支持新增框架。

平臺架構

• 計算平臺
  計算平臺實現了計算平臺的核心業務功能，包括數據管理、算法管理、鏡像管理、模型開發、模型訓練、模型管理、計費管理和用戶管理等。
• 資源管理
  資源管理主要是對集群的資源進行管理和調度，包括存儲管理、算力管理、任務調度、網絡管理等
• 硬件設施
  硬件設施為計算平臺所管理和調度的設備，包括存儲、網絡、CPU、GRU 等各類設備

平臺算力調度系統

平臺調度子系統基于Kubernetes的容器計算平臺，提供了包括基于各種主流架構的CPU、GPU、NPU在內的異構設備混合調度能力，實現了：

• 調度算法的多樣性
• 調度性能的高效性
• 無縫對接主流計算框架
• 對異構設備的支持

• 平備的調度
  • 功能插件機制，方便自定義新的調度策略。以binpack插件為例，其使用的裝箱算法能夠解決資源碎片的問題，能夠很好的提高集群的整體使用率。
  • 基于任務隊列，能夠將集群進行邏輯分組，方便對用戶進行項目制管理。一方面能夠對不同項目配置不同限額的計算資源，另一方面能將不同類型的作業分到不同的任務隊列中進行管理。對作業和計算資源的管理更加精細化。
• 平臺計算業務場景覆蓋
  • 多種國產異構硬件資源全面兼容，已經支持：
    • 華為NPU
    • 算能TPU
    • 燧原GCU
    • 天數智芯GRGRU
    • 沐曦GPGPY
    • 寒武紀MLU
  • 支持快速和靈活部署，系統運行可靠穩定，方便外部團隊使用
• 平臺面向管理與業務特有的調度能力
  AiseeCloud平臺調度系統主要優化了智算中心中的資源管理和任務調度。AiseeCloud平臺調度系統定義了一種靈活且統一的異構硬件統表示方法，將各種異構算力硬件，更有甚者還可將異構網絡硬件一同匯聚形成業務層可理解、可閱讀的統一智算資源池，將作業調度至最優的智算服務器中。
  AiseeCloud平臺調度系統自定義了獨特的資源狀態統計與計費管理等功能，根據AI訓練任務特性與管理需求，優化實現了：
  • Job、Task、Replica的別狀態機
  • 實現自定義Event和Policy
  • 實現生命周期回調鉤子
  • 為某些特殊場景定制的優先搶占調度能力

Aiseecloud 平臺部分能力截圖

Aiseecloud用戶端概覽

異構資源節點統一管理

細顆粒的資源池管理，隔離集群資源，便于將不同的資源分配給不同的用戶組織

平臺提供機時管理，為單個用戶和團隊用戶提供算力使用

提供JupterLab在線編程環境，用來調試、運行和保存算法以支撐后續的模型訓練

訓練任務監控，便于了解訓練任務的情況及結果

數據集上傳、管理、預覽，平臺可以預置數據集

鏡像的上傳、管理，平臺可以預置鏡像

管理用戶上傳的算法和平臺預置的算法

平臺提供完善的API接口，包括管理員端API和用戶端API

系統演示及購買

微信掃碼并備注：AiseeCloud