產品名稱：FreeScale
產品簡介：FreeScale是南洋理工大學、阿里巴巴集團和復旦大學推出無需微調的推理框架，提升預訓練擴散模型生成高分辨率圖像和視頻的能力。FreeScale基于處理和融合不同尺度的信息，有效解決模型在生成超訓練分辨率內容時出現的高頻信息增加導致的重復模式問題。
詳細介紹：

FreeScale是什么

FreeScale是南洋理工大學、阿里巴巴集團和復旦大學推出無需微調的推理框架，提升預訓練擴散模型生成高分辨率圖像和視頻的能力。FreeScale基于處理和融合不同尺度的信息，有效解決模型在生成超訓練分辨率內容時出現的高頻信息增加導致的重復模式問題。FreeScale首次實現8K分辨率圖像的生成，不僅提高了生成內容的質量與保真度，還減少了推理時間，顯著超越了現有方法。

FreeScale的主要功能

• 高分辨率視覺生成：FreeScale能生成高達8K分辨率的高質量圖像和視頻，擴展視覺擴散模型在高分辨率生成方面的能力。
• 無需微調：與傳統需要微調的方法不同，FreeScale不要求對預訓練模型進行額外的調整或訓練，即可實現高分辨率輸出。
• 處理高頻信息：FreeScale基于提取和融合不同尺度的信息，有效管理高頻信息，減少生成內容中的重復模式和偽影。
• 多尺度信息融合：基于結合不同感受野尺度的信息，FreeScale優化局部和全局細節的生成，提升視覺內容的整體質量。
• 靈活控制細節級別：用戶能根據需要調整不同區域的細節級別，實現更精細的視覺效果控制。

FreeScale的技術原理

• 定制自級聯上采樣：從純高斯噪聲開始，逐步去噪，用訓練分辨率生成圖像，基于上采樣獲得更高分辨率的圖像。
• 受約束的膨脹卷積：為擴大卷積的感受野并減少局部重復問題，FreeScale在特定的網絡層中用膨脹卷積。
• 尺度融合：在去噪過程中，調整自注意力層，使其同時具有全局和局部注意力結構，基于高斯模糊融合自全局注意力的高頻細節和來自局部注意力的低頻語義。
• 頻率成分提取與融合：基于提取所需的頻率成分并進行融合，優化高分辨率生成質量，減少高頻信息引發的重復模式問題。
• 細節級別控制：調整生成細節的級別，基于縮放余弦衰減因子控制新生成細節的級別，實現對不同語義區域的細節進行差異化處理。

FreeScale的項目地址

• 項目官網：haonanqiu.com/projects/FreeScale
• GitHub倉庫：https://github.com/ali-vilab/FreeScale
• arXiv技術論文：https://arxiv.org/pdf/2412.09626

FreeScale的應用場景

• 高質量圖像生成：在藝術創作和數字娛樂領域，生成高分辨率的藝術作品、游戲紋理和3D模型的貼圖。
• 視頻內容制作：在電影和視頻制作中，生成高分辨率的視頻內容，提高視頻質量，減少后期制作的成本和時間。
• 虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，生成高分辨率的虛擬環境和對象，提升用戶體驗。
• 廣告和營銷：創建吸引人的廣告圖像和視頻，提高廣告的視覺沖擊力和吸引力。
• 社交媒體內容：社交媒體用戶生成高分辨率的圖片和視頻，用在個人品牌建設或內容分享。