AIGC動態(tài)歡迎閱讀

原標(biāo)題：對比學(xué)習(xí)濫用隱私數(shù)據(jù)！中科院等發(fā)布「多步誤差最小化」方法 | ACM MM2024
關(guān)鍵字：模型,圖像,文本,樣本,方法
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報道編輯：LRST 好困
【新智元導(dǎo)讀】研究人員提出了一種新穎的多步誤差最小化（MEM）方法，用于生成多模態(tài)不可學(xué)習(xí)樣本，以保護(hù)個人數(shù)據(jù)不被多模態(tài)對比學(xué)習(xí)模型濫用。通過優(yōu)化圖像噪聲和文本觸發(fā)器，MEM方法有效地誤導(dǎo)模型，降低其對隱私數(shù)據(jù)的學(xué)習(xí)能力，并在不同模型間展現(xiàn)出強(qiáng)大的可遷移性。多模態(tài)對比學(xué)習(xí)（如CLIP）通過從互聯(lián)網(wǎng)上抓取的數(shù)百萬個圖像-字幕對中學(xué)習(xí)，在零樣本分類方面取得了顯著進(jìn)展。
然而，這種依賴帶來了隱私風(fēng)險，因為黑客可能會未經(jīng)授權(quán)地利用圖像-文本數(shù)據(jù)進(jìn)行模型訓(xùn)練，其中可能包括個人和隱私敏感信息。
最近的工作提出通過向訓(xùn)練圖像添加難以察覺的擾動來生成不可學(xué)習(xí)樣本（Unlearnable Examples），可以建立帶有保護(hù)的捷徑.
然而，這些方法是為單模態(tài)分類任務(wù)設(shè)計的，在多模態(tài)對比學(xué)習(xí)中仍未得到充分探索。本文首通過評估現(xiàn)有方法在圖像-標(biāo)題對上的性能來探索這一背景，由于在該場景中缺乏標(biāo)簽，之前的無法有效地推廣到多模態(tài)數(shù)據(jù)，并且在建立捷徑方面的效果有限。
在本文中提出了多步誤差最小化（MEM），這是一種用于生成多模態(tài)不可學(xué)習(xí)樣本的新穎優(yōu)化過程。它擴(kuò)展了誤差最小化（EM）

原文鏈接：對比學(xué)習(xí)濫用隱私數(shù)據(jù)！中科院等發(fā)布「多步誤差最小化」方法 | ACM MM2024

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：