AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：CVPR 2024 Highlight | 北航等發(fā)布「時(shí)間特征維護(hù)」：無需訓(xùn)練，極致壓縮加速Diffusion
關(guān)鍵字：時(shí)間,特征,模型,精度,權(quán)重
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST 好困
【新智元導(dǎo)讀】拯救4bit擴(kuò)散模型精度，僅需時(shí)間特征維護(hù)——以超低精度量化技術(shù)重塑圖像內(nèi)容生成！近日，北航、莫納什、UT Austin聯(lián)合推出了時(shí)間特征維護(hù)的擴(kuò)散模型低精度無損量化方法TFMQ-DM。
不僅以4bit的權(quán)重大小實(shí)現(xiàn)了目前無損條件下最極限的擴(kuò)散模型訓(xùn)練后壓縮，同時(shí)還實(shí)現(xiàn)了超過2.38倍真實(shí)硬件加速。
這一發(fā)現(xiàn)再次將Diffusion壓縮推向全新的高度。
目前，該工作已被CVPR 2024高分接收，并被接收為Highlight Poster (Top 2.8%)。論文地址：https://arxiv.org/pdf/2311.16503
代碼地址：https://github.com/ModelTC/TFMQ-DM
擴(kuò)散模型由于引入了時(shí)間變量t，于是在模型中注入了時(shí)序信息，這正是擴(kuò)散模型不同于以往傳統(tǒng)視覺模型的一大特征。
同時(shí)該變量也通過將時(shí)序特征融入模型去控制去噪過程。研究人員首次定義了時(shí)間特征emb，同時(shí)發(fā)現(xiàn)現(xiàn)有量化算法對(duì)于這些特征將產(chǎn)生嚴(yán)重?cái)_動(dòng)，從而破壞圖片生成質(zhì)量：
1. 時(shí)間特征擾動(dòng)：研究人員發(fā)現(xiàn)量化導(dǎo)致了明顯的時(shí)間特征誤差，并將

原文鏈接：CVPR 2024 Highlight | 北航等發(fā)布「時(shí)間特征維護(hù)」：無需訓(xùn)練，極致壓縮加速Diffusion

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。