ICLR 2024 Oral | 三行代碼，即插即用！NUS尤洋團隊新作—InfoBatch，無損數據集動態剪枝加速

AIGC動態歡迎閱讀

原標題：ICLR 2024 Oral | 三行代碼，即插即用！NUS尤洋團隊新作—InfoBatch，無損數據集動態剪枝加速
關鍵字：樣本,數據,方法,梯度,開銷
文章來源：大數據文摘
內容字數：6415字

內容摘要：

大數據文摘受權轉載自將門創投
本文介紹來自NUS尤洋團隊的最新科研成果 – InfoBatch。這是首篇關于無損數據剪枝加速的工作，覆蓋分類、分割、檢測、圖片生成、LLM指令微調等任務。作為一個即插即用且與架構無關的框架，在實際應用中，InfoBatch 可以無損地節省 40% 的總開銷（時間和計算）。隨著深度學習的網絡參數量和數據集規模增長，算力需求日益增加，如何節省訓練成本正在成為逐漸凸顯的需求。現有的數據集壓縮方法大多開銷較高，且難以在達到無損的情況下獲得可觀的節省率；加權抽樣的相關方法則對于模型和數據集的特點較為敏感且依賴于重復抽樣假設，在實際應用中難以和已完成調參的學習率調整策略結合。兩種從數據角度出發的方法在實踐中很難真正幫助節省計算。
在本篇工作中，研究者從數據迭代這個角度切入進行了研究。長久以來，數據集的迭代方式大都采用隨機迭代。對此，作者提出了InfoBatch框架，根據網絡對樣本的擬合情況進行動態剪枝采樣的方法，并利用重縮放（rescaling）來維持剪枝后的梯度更新（Gradient Update）期望，以此在性能無損的情況下提高訓練效率，加快訓練速度。
Info

原文鏈接：ICLR 2024 Oral | 三行代碼，即插即用！NUS尤洋團隊新作—InfoBatch，無損數據集動態剪枝加速

聯系作者

文章來源：大數據文摘
作者微信：BigDataDigest
作者簡介：普及數據思維，傳播數據文化