白日夢(mèng)ai視頻

文生視頻類AIGC創(chuàng)作平臺(tái)，文生視頻、動(dòng)態(tài)畫面、AI角色生成、人物/場(chǎng)景一致性，白日夢(mèng)AI視頻官網(wǎng)入口網(wǎng)址。

OpenI AI中文版

DeepSeek R1在線體驗(yàn)，預(yù)置超多文案及繪畫Prompt

AutoDL算力云官網(wǎng)

AI算力個(gè)人云：彈性、好用、省錢、更大更全更專業(yè)的AI算力集群。

AutoDL算力云價(jià)格

「AutoDL」是一個(gè)國內(nèi)一個(gè)優(yōu)秀的GPU租用平臺(tái)，提供專業(yè)的GPU租用服務(wù)，秒級(jí)計(jì)費(fèi)、穩(wěn)定好用，7×24小時(shí)服務(wù)。對(duì)應(yīng)的GPU的時(shí)價(jià)如下：

autodl算力云優(yōu)點(diǎn)

• 按秒計(jì)費(fèi) 使用時(shí)開機(jī)，不用就關(guān)機(jī)，關(guān)機(jī)就不收費(fèi)
• 操作簡(jiǎn)單 對(duì)新手友好，配備一鍵傻瓜式啟動(dòng)包，裝完就能用
• 按需配置 根據(jù)自己需求配置GPU，再強(qiáng)的顯卡也能用得起
• 多端運(yùn)行 不再是本地運(yùn)行，只要有瀏覽器，你可以在手機(jī)，電腦，Pad，智能電視等任何入口使用

GPU選型

如何排查性能瓶頸參考文檔。此外需注意3060、3090、3080Ti、A4000、A5000、A40、A100、A5000等安培架構(gòu)的卡需要cuda11.1及以上才能使用（TitanXp、1080Ti、2080Ti、P40、V100沒有要求），請(qǐng)使用較高版本的框架。

AutoDL平臺(tái)分配GPU、CPU、內(nèi)存的機(jī)制為：按租用的GPU數(shù)量成比例分配CPU和內(nèi)存，算力市場(chǎng)顯示的CPU和內(nèi)存均為每GPU分配的CPU和內(nèi)存，如果租用兩塊GPU，那么CPU和內(nèi)存就x2。此外GPU非共享，每個(gè)實(shí)例對(duì)GPU是獨(dú)占的。

一. 選擇CPU

CPU非常重要！盡管CPU并不直接參與深度學(xué)習(xí)模型計(jì)算，但CPU需要提供大于模型訓(xùn)練吞吐的數(shù)據(jù)處理能力。比如，一臺(tái)8卡NVIDIA V100的DGX服務(wù)器，訓(xùn)練ResNet-50 ImageNet圖像分類的吞吐就達(dá)到8000張圖像/秒，而擴(kuò)展到16卡V100的DGX2服務(wù)器卻沒達(dá)到2倍的吞吐，說明這臺(tái)DGX2服務(wù)器的CPU已經(jīng)成為性能瓶頸了。
我們通常為每塊GPU分配固定數(shù)量的CPU邏輯核心。理想情況下，模型計(jì)算吞吐隨GPU數(shù)量線性增長，單GPU的合理CPU邏輯核心數(shù)分配可以直接線性擴(kuò)展到多GPU上。AutoDL平臺(tái)的算力實(shí)例提供了多種CPU分配規(guī)格。每塊GPU應(yīng)配備至少4~8核心的CPU，以滿足多線程的異步數(shù)據(jù)讀取。分配更多的核心通常不會(huì)再有很大的收益，此時(shí)的數(shù)據(jù)讀取瓶頸通常源于Python的多進(jìn)程切換與數(shù)據(jù)通信開銷（如使用PyTorch DataLoader)。那么怎么省錢克服數(shù)據(jù)讀取瓶頸呢，不妨在AutoDL平臺(tái)試試C++和CUDA編寫的NVIDIA DALI數(shù)據(jù)讀取加速庫吧。在我們的測(cè)試中，單核CPU實(shí)例的數(shù)據(jù)讀取能力就超過了基于Python的八核心實(shí)例，真正做到了為模型訓(xùn)練保駕護(hù)航。AutoDL中高性能CPU的選擇有：

1. 內(nèi)蒙A區(qū) A5000 / 3090 / A40用到的AMD EPYC 7543 CPU
2. 內(nèi)蒙A區(qū) A100用到的AMD EPYC 7763 CPU
3. 北京A區(qū) 3090用到的Intel(R) Xeon(R) Gold 6330 或 AMD EPYC 7642 CPU
4. 深圳A區(qū) 3090用到的Intel(R) Xeon(R) Gold 6330

服務(wù)器的CPU一般不如桌面CPU的主頻高，但是核心數(shù)量多。因此您從以前使用桌面CPU切換到服務(wù)器CPU上后，需要充分利用多核心的性能，否則無法發(fā)揮服務(wù)器CPU的性能。如何利用請(qǐng)戳

二. 選擇GPU

AutoDL平臺(tái)上提供的GPU型號(hào)很多。我們按照GPU架構(gòu)大致分為五類：

1. NVIDIA Pascal架構(gòu)的GPU，如TitanXp，GTX 10系列等。 這類GPU缺乏低精度的硬件加速能力，但卻具備中等的單精度算力。由于價(jià)格便宜，適合用來練習(xí)訓(xùn)練小模型(如Cifar10)或調(diào)試模型代碼。
2. NVIDIA Volta/Turing架構(gòu)的GPU，如GTX 20系列, Tesla V100等。 這類GPU搭載專為低精度(int8/float16)計(jì)算加速的TensorCore, 但單精度算力相較于上代提升不大。我們建議在實(shí)例上啟用深度學(xué)習(xí)框架的混合精度訓(xùn)練來加速模型計(jì)算。 相較于單精度訓(xùn)練，混合精度訓(xùn)練通常能夠提供2倍以上的訓(xùn)練加速。
3. NVIDIA Ampere架構(gòu)的GPU，如GTX 30系列，Tesla A40/A100等。 這類GPU搭載第三代TensorCore。相較于前一代，支持了TensorFloat32格式，可直接加速單精度訓(xùn)練 (PyTorch已默認(rèn)開啟)。但我們?nèi)越ㄗh使用超高算力的float16半精度訓(xùn)練模型，可獲得比上一代GPU更顯著的性能提升。
4. 寒武紀(jì) MLU 200系列加速卡。 暫不支持模型訓(xùn)練。使用該系列加速卡進(jìn)行模型推理需要量化為int8進(jìn)行計(jì)算。 并且需要安裝適配寒武紀(jì)MLU的深度學(xué)習(xí)框架。
5. 華為 Ascend 系列加速卡。 支持模型訓(xùn)練及推理。但需安裝MindSpore框架進(jìn)行計(jì)算。

GPU型號(hào)的選擇并不困難。對(duì)于常用的深度學(xué)習(xí)模型，根據(jù)GPU對(duì)應(yīng)精度的算力可大致推算GPU訓(xùn)練模型的性能。AutoDL平臺(tái)標(biāo)注并排名了每種型號(hào)GPU的算力，方便大家選擇適合自己的GPU。GPU的數(shù)量選擇與訓(xùn)練任務(wù)有關(guān)。一般我們認(rèn)為模型的一次訓(xùn)練應(yīng)當(dāng)在24小時(shí)內(nèi)完成，這樣隔天就能訓(xùn)練改進(jìn)之后的模型。以下是選擇多GPU的一些建議：

• 1塊GPU。適合一些數(shù)據(jù)集較小的訓(xùn)練任務(wù)，如Pascal VOC等。
• 2塊GPU。同單塊GPU，但是你可以一次跑兩組參數(shù)或者把Batchsize擴(kuò)大。
• 4塊GPU。適合一些中等數(shù)據(jù)集的訓(xùn)練任務(wù)，如MS COCO等。
• 8塊GPU。經(jīng)典永流傳的配置！適合各種訓(xùn)練任務(wù)，也非常方便復(fù)現(xiàn)論文結(jié)果。
• 我要更多！用于訓(xùn)練大參數(shù)模型、大規(guī)模調(diào)參或超快地完成模型訓(xùn)練。

三. 選擇內(nèi)存

內(nèi)存在充足的情況下一般不影響性能，但是由于AutoDL的實(shí)例相比本地電腦對(duì)內(nèi)存的使用有更嚴(yán)格的上限限制（本地電腦內(nèi)存不足會(huì)使用硬盤虛擬內(nèi)存，影響是速度下降），比如租用的實(shí)例分配的內(nèi)存是64GB，程序在訓(xùn)練時(shí)最后將要使用64.1GB，此時(shí)超過限制的這一時(shí)刻進(jìn)程會(huì)被系統(tǒng)Kill導(dǎo)致程序中斷，因此如果對(duì)內(nèi)存的容量要求大，請(qǐng)選擇分配內(nèi)存更多的主機(jī)或者租用多GPU實(shí)例。如果不確定內(nèi)存的使用，那么可以在實(shí)例監(jiān)控中觀察內(nèi)存使用情況。