GAN歸來：模型大幅簡化，訓練更穩定，逆襲擴散模型，AI社區瘋傳

結構更簡單，性能更強大。

原標題：GAN歸來：模型大幅簡化，訓練更穩定，逆襲擴散模型，AI社區瘋傳
文章來源：機器之心
內容字數：6087字

GANs強勢回歸：極簡主義R3GAN超越擴散模型

機器之心近日報道，一篇名為“極簡主義GAN”的論文在AI社區引發熱議，該論文入選NeurIPS 2024，并成為HuggingFace周五熱度最高的研究。來自布朗大學和康奈爾大學的研究者們提出了一種新的損失函數，解決了GAN長期存在的模式崩潰和不穩定性問題，使GAN能夠進行更長時間的訓練，最終性能超越擴散模型。

1. R3GAN：簡化與超越

研究者們以StyleGAN2為基礎，通過引入新的損失函數和現代化架構設計，構建了名為R3GAN的極簡GAN模型。R3GAN拋棄了StyleGAN2中許多經驗性的tricks，采用更簡潔的網絡結構，但在圖像生成和數據增強任務上卻取得了優于所有現有GAN模型和擴散模型的性能。這證明了GAN并非如以往所認為的那樣難以訓練，其潛力遠未被挖掘。

2. 解決GAN的長期難題

傳統的GAN訓練存在模式崩潰和不穩定性等問題，通常需要大量經驗性的tricks來解決。R3GAN通過推導出一個行為良好的正則化相對GAN損失函數，從數學層面保證了局部收斂性，從而有效地解決了這些問題，無需依賴大量的tricks。

3. 現代化架構的應用

R3GAN采用了現代化的卷積神經網絡和Transformer架構設計，包括ResNet設計、改進的初始化方法、重采樣技術、分組卷積和去歸一化等，這些都提升了模型的效率和性能。研究者們通過逐步簡化StyleGAN2，最終得到了一個比StyleGAN2更簡單、性能卻更好的R3GAN。

4. 實驗結果驗證

R3GAN在多個數據集（FFHQ、ImageNet、CIFAR和Stacked MNIST）上的實驗結果表明，其在FID等指標上均超越了StyleGAN2以及其他先進的GAN和擴散模型。即使在參數量更小的情況下，R3GAN仍然表現出色，證明了其效率和有效性。

5. 社區反響與未來展望

這篇論文在AI社區引發強烈反響，StabilityAI的研究總監也對該研究給予了高度評價。R3GAN的出現為GAN的研究提供了新的方向，也為GAN的未來發展奠定了更簡潔、可擴展的基礎。 它證明了通過改進損失函數和架構設計，GAN可以重新煥發生機，甚至超越擴散模型，成為更好、更快、更小的生成模型。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺