AIGC動態歡迎閱讀

原標題：三行代碼無損加速40%，尤洋團隊AI訓練加速器入選ICLR Oral論文
關鍵字：樣本,梯度,方式,損失,輪次
文章來源：量子位
內容字數：3696字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI用剪枝的方式加速AI訓練，也能實現無損操作了，只要三行代碼就能完成！
今年的深度學習頂會ICLR上，新加坡國立大學尤洋教授團隊的一項成果被收錄為Oral論文。
利用這項技術，可以在沒有損失的前提下，節約最高40%的訓練成本。
這項成果叫做InfoBatch，采用的依然是修剪樣本的加速方式。
但通過動態調整剪枝的內容，InfoBatch解決了加速帶來的訓練損失問題。
而且即插即用，不受架構限制，CNN網絡和Transformer模型都能優化。
目前，該算法已經受到了多家云計算公司的關注。
那么，InfoBatch能實現怎樣的加速效果呢？
無損降低40%訓練成本研究團隊在多個數據集上開展的實驗。都驗證了InfoBatch的有效性。
這些實驗涵蓋的任務包括圖像的分類、分割和生成，以及語言模型的指令微調等。
在圖像分類任務上，研究團隊使用CIFAR10和CIFAR100數據集訓練了ResNet-18。
結果在30%、50%和70%的剪枝率下，InfoBatch的準確率都超越了隨機剪枝和其他baseline方法，而且在30%的剪枝率下沒有任何精

原文鏈接：三行代碼無損加速40%，尤洋團隊AI訓練加速器入選ICLR Oral論文

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破