【綜述專欄】大型視覺語言模型攻擊綜述：資源、進展與未來趨勢！

AIGC動態歡迎閱讀

原標題：【綜述專欄】大型視覺語言模型攻擊綜述：資源、進展與未來趨勢！
關鍵字：模型,方法,數據,攻擊者,報告
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：人工智能前沿講習
在科學研究中，從方上來講，都應“先見森林，再見樹木”。當前，人工智能學術研究方興未艾，技術迅猛發展，可謂萬木爭榮，日新月異。對于AI從業者來說，在廣袤的知識森林中，系統梳理脈絡，才能更好地把握趨勢。為此，我們精選國內外優秀的綜述文章，開辟“綜述專欄”，敬請關注。鏈接：https://arxiv.org/abs/2407.07403
近年來，隨著大型模型的顯著發展，大型視覺-語言模型（LVLMs）在各種多模態理解和推理任務中展示了卓越的能力。相比于傳統的大型語言模型（LLMs），由于更接近多資源的現實世界應用和多模態處理的復雜性，LVLMs 展示了巨大的潛力和挑戰。然而，LVLMs 的脆弱性相對較少被探索，在日常使用中可能存在潛在的安全風險。在本文中，我們對現有的各種 LVLM 攻擊形式進行了全面的回顧。具體來說，我們首先介紹了針對 LVLMs 攻擊的背景，包括攻擊的初步知識、攻擊的挑戰和攻擊資源。然后，我們系統地回顧了 LVLM 攻擊方法的發展，如操縱模型輸出的對抗攻擊，利用模型漏洞進行未授權操作的越獄攻擊，設計提示類型和模式的提示注入攻擊，以及影響模型訓練

原文鏈接：【綜述專欄】大型視覺語言模型攻擊綜述：資源、進展與未來趨勢！

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：