擴散模型低位量化突破！有效擴散量化的極限推向2-4位，W2A4位寬下FID降低58%，超越SOTA方法

中科院提出混合精度量化

原標題：擴散模型低位量化突破！有效擴散量化的極限推向2-4位，W2A4位寬下FID降低58%，超越SOTA方法
文章來源：量子位
內容字數：11110字

極低位擴散模型量化：MPQ-DM方法詳解

本文總結了MPQ-DM團隊發表在arXiv上的最新研究，該研究提出了一種混合精度量化方法MPQ-DM，用于降低擴散模型的計算成本，同時保持高水平的性能?，F有擴散模型量化方法在極低位寬（2-4位）下性能嚴重下降，主要原因是激活值的顯著離散化。MPQ-DM通過結合離群值驅動的混合量化(OMQ)和時間平滑關系蒸餾(TRD)兩種技術來解決這個問題。

1. 擴散模型與量化

擴散模型通過逐步添加噪聲然后去除噪聲來生成圖像。然而，其計算成本很高。量化通過降低參數的位寬來節省存儲和計算資源，但現有方法在低位寬下性能下降嚴重。

2. MPQ-DM的核心技術

MPQ-DM的核心在于OMQ和TRD兩項技術：

1. 離群值驅動的混合量化 (OMQ): 該方法利用峰度(kurtosis)來識別權重通道中的離群值。離群值顯著的通道被分配更高的位寬，而其他通道分配較低的位寬，從而在保持平均位寬不變的情況下提高精度。這種層內混合精度量化避免了傳統逐層分配方法的不足。
2. 時間平滑關系蒸餾 (TRD): 為了解決低位量化導致的特征表示不一致性，TRD在量化模型和全精度模型之間構建了一個時間平滑的關系蒸餾方案。它通過融合多個連續時間步長的中間特征，并使用KL散度來衡量特征相似性分布之間的差異，而不是直接比較數值，從而提高了模型的魯棒性。

3. 實驗結果

實驗結果表明，MPQ-DM在LSUN-Bedrooms、LSUN-Churches和ImageNet數據集上，以及Stable Diffusion模型上都顯著優于現有方法。尤其是在極低位寬(例如W2A4)下，MPQ-DM取得了巨大的性能提升，而其他方法甚至無法生成正常的圖像。消融實驗也驗證了OMQ和TRD的有效性。

4. 主要發現

研究發現：

• 層內混合精度量化比逐層量化更有效。
• 基于峰度的離群值選擇方法優于隨機選擇方法。
• 關系蒸餾比直接數值對齊更適合處理離散和連續特征的差異。

5. 總結

MPQ-DM通過巧妙地結合OMQ和TRD，有效地解決了極低位擴散模型量化中的性能下降問題，為擴散模型在資源受限場景中的應用提供了新的可能性。該方法在多個數據集和模型上的優異表現，以及全面的消融實驗結果，都證明了其有效性和先進性。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破