AutoDL 算力云
國內(nèi)專業(yè)的GPU租用平臺(tái),為學(xué)生提供免費(fèi)升級(jí)會(huì)員通道,享極具性價(jià)比的會(huì)員價(jià)格
標(biāo)簽:AI算力平臺(tái)AutoDL autodl官網(wǎng) autodl官網(wǎng)地址 autodl算力云 autodl算力云gpt租用平臺(tái) Stable diffusion煉丹無限跑圖AutoDL算力云官網(wǎng)
AI算力個(gè)人云:彈性、好用、省錢、更大更全更專業(yè)的AI算力集群。

AutoDL算力云價(jià)格
「AutoDL」是一個(gè)國內(nèi)一個(gè)優(yōu)秀的GPU租用平臺(tái),提供專業(yè)的GPU租用服務(wù),秒級(jí)計(jì)費(fèi)、穩(wěn)定好用,7×24小時(shí)服務(wù)。對(duì)應(yīng)的GPU的時(shí)價(jià)如下:
autodl算力云優(yōu)點(diǎn)
按秒計(jì)費(fèi)使用時(shí)開機(jī),不用就關(guān)機(jī),關(guān)機(jī)就不收費(fèi)操作簡(jiǎn)單對(duì)新手友好,配備一鍵傻瓜式啟動(dòng)包,裝完就能用按需配置根據(jù)自己需求配置GPU,再強(qiáng)的顯卡也能用得起多端運(yùn)行不再是本地運(yùn)行,只要有瀏覽器,你可以在手機(jī),電腦,Pad,智能電視等任何入口使用
GPU選型
如何排查性能瓶頸參考文檔。此外需注意3060、3090、3080Ti、A4000、A5000、A40、A100、A5000等安培架構(gòu)的卡需要cuda11.1及以上才能使用(TitanXp、1080Ti、2080Ti、P40、V100沒有要求),請(qǐng)使用較高版本的框架。
AutoDL平臺(tái)分配GPU、CPU、內(nèi)存的機(jī)制為:按租用的GPU數(shù)量成比例分配CPU和內(nèi)存,算力市場(chǎng)顯示的CPU和內(nèi)存均為每GPU分配的CPU和內(nèi)存,如果租用兩塊GPU,那么CPU和內(nèi)存就x2。此外GPU非共享,每個(gè)實(shí)例對(duì)GPU是獨(dú)占的。
一. 選擇CPU
CPU非常重要!盡管CPU并不直接參與深度學(xué)習(xí)模型計(jì)算,但CPU需要提供大于模型訓(xùn)練吞吐的數(shù)據(jù)處理能力。比如,一臺(tái)8卡NVIDIA V100的DGX服務(wù)器,訓(xùn)練ResNet-50 ImageNet圖像分類的吞吐就達(dá)到8000張圖像/秒,而擴(kuò)展到16卡V100的DGX2服務(wù)器卻沒達(dá)到2倍的吞吐,說明這臺(tái)DGX2服務(wù)器的CPU已經(jīng)成為性能瓶頸了。
我們通常為每塊GPU分配固定數(shù)量的CPU邏輯核心。理想情況下,模型計(jì)算吞吐隨GPU數(shù)量線性增長,單GPU的合理CPU邏輯核心數(shù)分配可以直接線性擴(kuò)展到多GPU上。AutoDL平臺(tái)的算力實(shí)例提供了多種CPU分配規(guī)格。每塊GPU應(yīng)配備至少4~8核心的CPU,以滿足多線程的異步數(shù)據(jù)讀取。分配更多的核心通常不會(huì)再有很大的收益,此時(shí)的數(shù)據(jù)讀取瓶頸通常源于Python的多進(jìn)程切換與數(shù)據(jù)通信開銷(如使用PyTorch DataLoader)。那么怎么省錢克服數(shù)據(jù)讀取瓶頸呢,不妨在AutoDL平臺(tái)試試C++和CUDA編寫的NVIDIA DALI數(shù)據(jù)讀取加速庫吧。在我們的測(cè)試中,單核CPU實(shí)例的數(shù)據(jù)讀取能力就超過了基于Python的八核心實(shí)例,真正做到了為模型訓(xùn)練保駕護(hù)航。AutoDL中高性能CPU的選擇有:
- 內(nèi)蒙A區(qū) A5000 / 3090 / A40用到的AMD EPYC 7543 CPU
- 內(nèi)蒙A區(qū) A100用到的AMD EPYC 7763 CPU
- 北京A區(qū) 3090用到的Intel(R) Xeon(R) Gold 6330 或 AMD EPYC 7642 CPU
- 深圳A區(qū) 3090用到的Intel(R) Xeon(R) Gold 6330
服務(wù)器的CPU一般不如桌面CPU的主頻高,但是核心數(shù)量多。因此您從以前使用桌面CPU切換到服務(wù)器CPU上后,需要充分利用多核心的性能,否則無法發(fā)揮服務(wù)器CPU的性能。如何利用請(qǐng)戳
二. 選擇GPU
AutoDL平臺(tái)上提供的GPU型號(hào)很多。我們按照GPU架構(gòu)大致分為五類:
- NVIDIA Pascal架構(gòu)的GPU,如TitanXp,GTX 10系列等。 這類GPU缺乏低精度的硬件加速能力,但卻具備中等的單精度算力。由于價(jià)格便宜,適合用來練習(xí)訓(xùn)練小模型(如Cifar10)或調(diào)試模型代碼。
- NVIDIA Volta/Turing架構(gòu)的GPU,如GTX 20系列, Tesla V100等。 這類GPU搭載專為低精度(int8/float16)計(jì)算加速的TensorCore, 但單精度算力相較于上代提升不大。我們建議在實(shí)例上啟用深度學(xué)習(xí)框架的混合精度訓(xùn)練來加速模型計(jì)算。 相較于單精度訓(xùn)練,混合精度訓(xùn)練通常能夠提供2倍以上的訓(xùn)練加速。
- NVIDIA Ampere架構(gòu)的GPU,如GTX 30系列,Tesla A40/A100等。 這類GPU搭載第三代TensorCore。相較于前一代,支持了TensorFloat32格式,可直接加速單精度訓(xùn)練 (PyTorch已默認(rèn)開啟)。但我們?nèi)越ㄗh使用超高算力的float16半精度訓(xùn)練模型,可獲得比上一代GPU更顯著的性能提升。
- 寒武紀(jì) MLU 200系列加速卡。 暫不支持模型訓(xùn)練。使用該系列加速卡進(jìn)行模型推理需要量化為int8進(jìn)行計(jì)算。 并且需要安裝適配寒武紀(jì)MLU的深度學(xué)習(xí)框架。
- 華為 Ascend 系列加速卡。 支持模型訓(xùn)練及推理。但需安裝MindSpore框架進(jìn)行計(jì)算。
GPU型號(hào)的選擇并不困難。對(duì)于常用的深度學(xué)習(xí)模型,根據(jù)GPU對(duì)應(yīng)精度的算力可大致推算GPU訓(xùn)練模型的性能。AutoDL平臺(tái)標(biāo)注并排名了每種型號(hào)GPU的算力,方便大家選擇適合自己的GPU。GPU的數(shù)量選擇與訓(xùn)練任務(wù)有關(guān)。一般我們認(rèn)為模型的一次訓(xùn)練應(yīng)當(dāng)在24小時(shí)內(nèi)完成,這樣隔天就能訓(xùn)練改進(jìn)之后的模型。以下是選擇多GPU的一些建議:
- 1塊GPU。適合一些數(shù)據(jù)集較小的訓(xùn)練任務(wù),如Pascal VOC等。
- 2塊GPU。同單塊GPU,但是你可以一次跑兩組參數(shù)或者把Batchsize擴(kuò)大。
- 4塊GPU。適合一些中等數(shù)據(jù)集的訓(xùn)練任務(wù),如MS COCO等。
- 8塊GPU。經(jīng)典永流傳的配置!適合各種訓(xùn)練任務(wù),也非常方便復(fù)現(xiàn)論文結(jié)果。
- 我要更多!用于訓(xùn)練大參數(shù)模型、大規(guī)模調(diào)參或超快地完成模型訓(xùn)練。
三. 選擇內(nèi)存
內(nèi)存在充足的情況下一般不影響性能,但是由于AutoDL的實(shí)例相比本地電腦對(duì)內(nèi)存的使用有更嚴(yán)格的上限限制(本地電腦內(nèi)存不足會(huì)使用硬盤虛擬內(nèi)存,影響是速度下降),比如租用的實(shí)例分配的內(nèi)存是64GB,程序在訓(xùn)練時(shí)最后將要使用64.1GB,此時(shí)超過限制的這一時(shí)刻進(jìn)程會(huì)被系統(tǒng)Kill導(dǎo)致程序中斷,因此如果對(duì)內(nèi)存的容量要求大,請(qǐng)選擇分配內(nèi)存更多的主機(jī)或者租用多GPU實(shí)例。如果不確定內(nèi)存的使用,那么可以在實(shí)例監(jiān)控中觀察內(nèi)存使用情況。
數(shù)據(jù)評(píng)估
本站OpenI提供的AutoDL 算力云都來源于網(wǎng)絡(luò),不保證外部鏈接的準(zhǔn)確性和完整性,同時(shí),對(duì)于該外部鏈接的指向,不由OpenI實(shí)際控制,在2023年 5月 31日 上午8:44收錄時(shí),該網(wǎng)頁上的內(nèi)容,都屬于合規(guī)合法,后期網(wǎng)頁的內(nèi)容如出現(xiàn)違規(guī),可以直接聯(lián)系網(wǎng)站管理員進(jìn)行刪除,OpenI不承擔(dān)任何責(zé)任。


粵公網(wǎng)安備 44011502001135號(hào)