圖像偽造照妖鏡！北大發(fā)布多模態(tài)LLM圖像篡改檢測定位框架FakeShield

AIGC動態(tài)歡迎閱讀

原標(biāo)題：圖像偽造照妖鏡！北大發(fā)布多模態(tài)LLM圖像篡改檢測定位框架FakeShield
關(guān)鍵字：圖像,模型,區(qū)域,數(shù)據(jù),解釋性
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報道編輯：LRST
【新智元導(dǎo)讀】北京大學(xué)的研究人員開發(fā)了一種新型多模態(tài)框架FakeShield，能夠檢測圖像偽造、定位篡改區(qū)域，并提供基于像素和圖像語義錯誤的合理解釋，可以提高圖像偽造檢測的可解釋性和泛化能力。隨著生成式人工智能（AIGC）的迅猛發(fā)展，圖像編輯與合成技術(shù)變得愈加成熟與普及。這一趨勢為圖像內(nèi)容創(chuàng)作帶來了便捷的同時，也顯著增加了篡改檢測的難度。
用戶能夠通過Photoshop、DeepFake、AIGC等工具對圖像進(jìn)行高質(zhì)量編輯，且往往不留任何痕跡。在此背景下，如何準(zhǔn)確檢測并定位篡改區(qū)域，成為了學(xué)術(shù)界與工業(yè)界的關(guān)注重點。
盡管現(xiàn)有的圖像篡改檢測與定位（IFDL）算法在網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略上取得了一定進(jìn)展，但仍存在幾個主要問題：
1. 大多數(shù)方法采用黑箱模型，僅輸出真實性概率，缺乏詳細(xì)的檢測解釋，導(dǎo)致用戶對結(jié)果的信任度降低。
2. 現(xiàn)有算法通常針對特定篡改技術(shù)，缺乏應(yīng)對多樣化篡改手段的能力，降低了實用性。
為了解決這些問題，如圖1所示，北京大學(xué)與華南理工大學(xué)的研究團(tuán)隊提出了一種全新的任務(wù)：可解釋的圖像偽造檢測與定位（e-IFDL），并設(shè)計了一個新穎的多模態(tài)偽造檢測定位

原文鏈接：圖像偽造照妖鏡！北大發(fā)布多模態(tài)LLM圖像篡改檢測定位框架FakeShield