擴散模型測試時計算Scaling Law的突破性研究
來自紐約大學、麻省理工學院和谷歌的頂尖研究團隊，在擴散模型（DM）的測試時計算Scaling Law方面取得了突破性進展。該研究由謝賽寧教授團隊參與，其成果引發了廣泛關注。
1. 研究背景： 大模型的測試時計算Scaling Law是當前AI領域的研究熱點，OpenAI的成果o3已證明其有效性。然而，擴散模型在推理階段增加去噪步驟后，性能提升往往會很快遇到瓶頸，限制了其Scaling能力。
2. 創新方法：該研究將推理時Scaling重新定義為對采樣噪聲的搜索問題。研究人員提出了一種創新的搜索框架，包含兩個核心要素：驗證器和算法。
a. 驗證器： 預訓練模型，用于評估噪聲候選項的質量，提供反饋。研究中使用了三種類型的驗證器：預言驗證器（Oracle Verifier）、監督驗證器（Supervised Verifier）和自監督驗證器（Self-Supervised Verifier）。
b. 算法： 基于驗證器反饋，尋找更優噪聲候選項的函數。研究中使用了隨機搜索、零階搜索和路徑搜索三種算法。
3. 實驗結果： 研究人員在ImageNet和DrawBench等數據集上進行了實驗，結果表明，該搜索框架能夠顯著提升擴散模型的生成性能，超越了僅僅增加去噪步驟的效果。不同驗證器和算法的組合展現出不同的Scaling特性，沒有單一最優配置，需要根據具體任務選擇合適的設置。
4. 小模型的優勢： 研究還發現，通過測試時計算Scaling，較小的擴散模型也能在有限的推理預算下取得優于更大模型的性能。這表明，大量的訓練成本可以通過適度的推理時計算來部分抵消，從而更有效地獲得高質量樣本。
5. 主要貢獻：
a. 提出了一個用于擴散模型推理時Scaling的基礎框架。
b. 確定了搜索框架中的兩個關鍵設計軸：驗證器和算法。
c. 對驗證器與不同生成任務之間的對齊進行了廣泛分析。
6. 未來展望： 謝賽寧教授認為，2025年擴散模型的發展方向是“要么（非常）小，要么（非常）大”，該研究為這兩個方向都提供了新的可能性。
7. 團隊成員： 共同一作Willis(Nanye) Ma是謝賽寧教授的博士生，也是谷歌的學生研究員；另一位共同一作Shangyuan Tong是麻省理工學院CSAIL的博士生。
總而言之，這項研究為擴散模型的測試時計算Scaling Law開辟了新的方向，為高效生成高質量樣本提供了新的途徑，具有重要的理論和實踐意義。
聯系作者
文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。
相關文章
全面、高效的AI工具產品情報，發現和使用最酷的AI工具！
Ctrl + D 或 ? + D 收藏本站到瀏覽器書簽欄。
粵公網安備 44011502001135號