對比學習濫用隱私數據！中科院等發布「多步誤差最小化」方法 | ACM MM2024

AIGC動態歡迎閱讀

原標題：對比學習濫用隱私數據！中科院等發布「多步誤差最小化」方法 | ACM MM2024
關鍵字：模型,圖像,文本,樣本,方法
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST 好困
【新智元導讀】研究人員提出了一種新穎的多步誤差最小化（MEM）方法，用于生成多模態不可學習樣本，以保護個人數據不被多模態對比學習模型濫用。通過優化圖像噪聲和文本觸發器，MEM方法有效地誤導模型，降低其對隱私數據的學習能力，并在不同模型間展現出強大的可遷移性。多模態對比學習（如CLIP）通過從互聯網上抓取的數百萬個圖像-字幕對中學習，在零樣本分類方面取得了顯著進展。
然而，這種依賴帶來了隱私風險，因為黑客可能會未經授權地利用圖像-文本數據進行模型訓練，其中可能包括個人和隱私敏感信息。
最近的工作提出通過向訓練圖像添加難以察覺的擾動來生成不可學習樣本（Unlearnable Examples），可以建立帶有保護的捷徑.
然而，這些方法是為單模態分類任務設計的，在多模態對比學習中仍未得到充分探索。本文首通過評估現有方法在圖像-標題對上的性能來探索這一背景，由于在該場景中缺乏標簽，之前的無法有效地推廣到多模態數據，并且在建立捷徑方面的效果有限。
在本文中提出了多步誤差最小化（MEM），這是一種用于生成多模態不可學習樣本的新穎優化過程。它擴展了誤差最小化（EM）

原文鏈接：對比學習濫用隱私數據！中科院等發布「多步誤差最小化」方法 | ACM MM2024