Snap聯合港科大等機構推出的移動端文生圖模型

產品名稱：SnapGen
產品簡介：SnapGen是Snap Inc、香港科技大學、墨爾本大學等機構聯合推出的文本到圖像（T2I）擴散模型，能在移動設備上快速生成高分辨率（1024×1024像素）的圖像，且只需1.4秒。模型用379M參數實現這一性能，顯著減少模型大小和計算需求，同時在GenEval指標上達到0.66的高分，超越許多參數量更大的SDXL和IF-XL模型。
詳細介紹：

SnapGen是什么

SnapGen是Snap Inc、香港科技大學、墨爾本大學等機構聯合推出的文本到圖像（T2I）擴散模型，能在移動設備上快速生成高分辨率（1024×1024像素）的圖像，且只需1.4秒。模型用379M參數實現這一性能，顯著減少模型大小和計算需求，同時在GenEval指標上達到0.66的高分，超越許多參數量更大的SDXL和IF-XL模型。SnapGen基于優化網絡架構、跨架構知識蒸餾和對抗性步驟蒸餾等技術，實現在移動設備上的高效圖像生成。

SnapGen的主要功能

• 高分辨率圖像生成：在移動設備上快速生成高達1024×1024像素的高分辨率圖像。
• 快速生成能力：在1.4秒內完成圖像生成，顯著提高生成效率。
• 優化的模型大小：SnapGen模型參數僅為379M，在圖像質量上超越參數量更大的模型。
• 跨架構知識蒸餾：基于從更大的模型中轉移知識，提高小型模型的生成質量。
• 對抗性步驟蒸餾：結合對抗性訓練和知識蒸餾，實現幾步生成高質量圖像的能力。

SnapGen的技術原理

• 網絡架構優化：對去噪UNet和自動編碼器（AE）的網絡架構進行深入檢查，獲得延遲和性能之間的最佳平衡，減少模型參數和計算復雜性，同時保持圖像生成質量。
• 多級知識蒸餾：基于跨架構從更大的模型中提取知識，用多級方法指導模型的訓練，在保持較小模型尺寸的同時，實現高質量的圖像生成。
• 時間步長感知的縮放：在訓練過程中，采用時間步長感知的縮放技術，結合多個訓練目標，適應不同時間步長的預測難度。
• 對抗性訓練：結合對抗性訓練和知識蒸餾，用幾步教師模型實現快速的高質量圖像生成。
• 集成對抗性指導：在知識蒸餾過程中，整合對抗性指導，進一步提升生成圖像的質量和真實感。
• 高效的訓練技術：引入改進的訓練技術，包括流匹配作為目標，及在訓練中用logit-normal采樣，提高訓練穩定性和生成質量。

SnapGen的項目地址

• 項目官網：snap-research.github.io/snapgen
• arXiv技術論文：https://arxiv.org/pdf/2412.09619

SnapGen的應用場景

• 社交媒體內容創作：用戶快速生成個性化圖像，用在社交媒體平臺如Snapchat的帖子或故事。
• 移動應用集成：在移動應用中集成SnapGen，提供用戶即興創作圖像的功能，如虛擬試衣、濾鏡效果預覽等。
• 游戲和娛樂：用在游戲內資產的快速生成，或在移動游戲中提供玩家自定義角色和環境的能力。
• 教育和培訓：用SnapGen生成教學材料中的圖像，如科學圖解或歷史場景，增強學習體驗。
• 新聞和媒體：記者和媒體工作者快速生成新聞報道中需要的圖像，提高報道的吸引力和表現力。