CVPR 2024 Highlight | 北航等發布「時間特征維護」：無需訓練，極致壓縮加速Diffusion

AIGC動態歡迎閱讀

原標題：CVPR 2024 Highlight | 北航等發布「時間特征維護」：無需訓練，極致壓縮加速Diffusion
關鍵字：時間,特征,模型,精度,權重
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST 好困
【新智元導讀】拯救4bit擴散模型精度，僅需時間特征維護——以超低精度量化技術重塑圖像內容生成！近日，北航、莫納什、UT Austin聯合推出了時間特征維護的擴散模型低精度無損量化方法TFMQ-DM。
不僅以4bit的權重大小實現了目前無損條件下最極限的擴散模型訓練后壓縮，同時還實現了超過2.38倍真實硬件加速。
這一發現再次將Diffusion壓縮推向全新的高度。
目前，該工作已被CVPR 2024高分接收，并被接收為Highlight Poster (Top 2.8%)。論文地址：https://arxiv.org/pdf/2311.16503
代碼地址：https://github.com/ModelTC/TFMQ-DM
擴散模型由于引入了時間變量t，于是在模型中注入了時序信息，這正是擴散模型不同于以往傳統視覺模型的一大特征。
同時該變量也通過將時序特征融入模型去控制去噪過程。研究人員首次定義了時間特征emb，同時發現現有量化算法對于這些特征將產生嚴重擾動，從而破壞圖片生成質量：
1. 時間特征擾動：研究人員發現量化導致了明顯的時間特征誤差，并將

原文鏈接：CVPR 2024 Highlight | 北航等發布「時間特征維護」：無需訓練，極致壓縮加速Diffusion