Imagen【推薦試用】

我們提出了Imagen，一個文本到圖像的擴散模型，具有前所未有的寫實主義程度和深度的語言理解。Imagen建立在理解文本的大型變壓器語言模型的基礎上，并依賴于在高保真圖像生成中擴散模型的強度。我們的關鍵發現是，在純文本語料庫上進行預訓練的通用大型語言模型(例如T5)在編碼用于圖像合成的文本方面驚人地有效:在Imagen中增加語言模型的大小比增加圖像擴散模型的大小更能提高樣本保真度和圖像-文本對齊。Imagen在沒有經過COCO訓練的情況下，在COCO數據集上獲得了7.27的最新FID分數，并且人類評分者發現Imagen樣本在圖像-文本對齊方面與COCO數據本身不相上下。為了更深入地評估文本到圖像模型，我們引入了DrawBench，這是一個全面且具有挑戰性的文本到圖像模型基準測試。使用DrawBench，我們將Imagen與最近的方法進行了比較，包括VQ-GAN+CLIP、潛在擴散模型和DALL-E 2，并發現人類評分者在并排比較中更喜歡Imagen，無論是在樣本質量還是圖像-文本對齊方面。