SparseViT

原標(biāo)題：AAAI 2025 | IML領(lǐng)域首個稀疏化視覺Transformer，代碼已開源
文章來源：機器之心
內(nèi)容字數(shù)：4162字

SparseViT: 一種高效的圖像篡改定位方法

本文介紹了SparseViT，一種由四川大學(xué)呂建成團隊和澳門大學(xué)潘治文教授團隊合作開發(fā)的全新圖像篡改定位 (IML) 模型。該模型的核心在于利用稀疏自注意力機制，擺脫了傳統(tǒng) IML 模型對手工制作非語義特征提取器的依賴，實現(xiàn)了參數(shù)效率和性能的兼顧。

1. 現(xiàn)有 IML 模型的局限性

現(xiàn)有的 IML 模型普遍采用“語義分割主干網(wǎng)絡(luò) + 手工制作非語義特征提取器”的架構(gòu)。這種方法存在局限性：其對未知場景的偽影提取能力有限，并且嚴(yán)重依賴人工設(shè)計的特征。

2. SparseViT 的核心思想

SparseViT 關(guān)注圖像篡改的非語義特征。研究發(fā)現(xiàn)，非語義特征在局部和全局之間保持一致性，且在不同圖像區(qū)域表現(xiàn)出更大的性。因此，SparseViT 提出了基于稀疏自注意力的架構(gòu)，取代了傳統(tǒng)的全局自注意力機制，從而能夠自適應(yīng)地提取非語義特征。

3. 關(guān)鍵組件

1. Sparse Self-Attention：這是 SparseViT 的核心組件。通過將輸入特征圖劃分成塊，并在每個塊上進行自注意力計算，減少了計算復(fù)雜度（最高減少 80% 的 FLOPs），同時高效地捕獲關(guān)鍵特征。該機制避免了模型對語義信息的過度擬合，從而更好地捕捉非語義偽影。
2. Learnable Feature Fusion (LFF)：這是一個多尺度特征融合模塊，通過可學(xué)習(xí)參數(shù)動態(tài)調(diào)整不同尺度特征的重要性，提高模型的泛化能力和對復(fù)雜場景的適應(yīng)性。LFF 優(yōu)先強化與篡改相關(guān)的低頻特征，同時保留高頻特征，增強模型對微弱和大型偽影的處理能力。

4. SparseViT 的優(yōu)勢

SparseViT 具有以下幾個方面的優(yōu)勢：

1. 參數(shù)效率：通過稀疏計算，顯著降低了計算量。
2. 高性能：在多個公共數(shù)據(jù)集上實現(xiàn)了最先進的性能。
3. 泛化能力強：可學(xué)習(xí)的多尺度監(jiān)督機制增強了模型在不同場景下的適應(yīng)性。
4. 無需手工特征提取器：簡化了模型設(shè)計，提高了模型的普適性。

5. 開源代碼及未來展望

SparseViT 的相關(guān)代碼和文檔已完全開源在 GitHub (https://github.com/scu-zjz/SparseViT)，并計劃長期維護。該模型有望為圖像篡改檢測領(lǐng)域的理論與應(yīng)用研究提供新視角。

總之，SparseViT 通過巧妙地利用語義特征和非語義特征的差異，為圖像篡改定位提供了一種高效、準(zhǔn)確且具有泛化能力的新方法。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺