一步文生圖大模型還能“更小更快”，MixDQ量化方法無損“瘦身”擴散模型3倍，提速1.5倍

AIGC動態(tài)歡迎閱讀

原標題：一步文生圖大模型還能“更小更快”，MixDQ量化方法無損“瘦身”擴散模型3倍，提速1.5倍
關鍵字：模型,方案,顯存,圖像,方法
文章來源：大數(shù)據文摘
內容字數(shù)：0字

內容摘要：

大數(shù)據文摘授權轉載自將門創(chuàng)投
作者：趙天辰
我們提出了MixDQ，一種面向少步擴散模型的混合比特量化方案。
MixDQ分析定位了“少步擴散模型量化”的獨特問題，并提出針對性解決方案。
針對少步生成模型，在現(xiàn)有量化方案在W8A8損失嚴重的情況下，MixDQ在能夠實現(xiàn)多方面指標（圖像質量，文圖吻合，人為偏好）無損的W8A8量化，W4A8無明顯視覺損失。
我們實現(xiàn)了高效的INT8 GPU算子，以實現(xiàn)實際的顯存與延遲優(yōu)化，并將模型開源為Huggingface Pipeline，通過幾行代碼即可調用。論文標題：
MixDQ: Memory-Efficient Few-Step Text-to-Image Diffusion Models with Metric-Decoupled Mixed Precision Quantization
論文鏈接：
https://arxiv.org/abs/2405.17873
Project page:
https://a-suozhang.xyz/mixdq.github.io/
Huggingface Pipeline:
https://huggingf

原文鏈接：一步文生圖大模型還能“更小更快”，MixDQ量化方法無損“瘦身”擴散模型3倍，提速1.5倍

聯(lián)系作者

文章來源：大數(shù)據文摘
作者微信：BigDataDigest
作者簡介：普及數(shù)據思維，傳播數(shù)據文化