AIGC動態歡迎閱讀

原標題：今日arXiv最熱大模型論文：北京大學最新綜述：視覺大模型中的漏洞與攻防對抗
關鍵字：模型,數據,提示,方法,文本
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年近年來，視覺語言大模型（LVLM）在文本轉圖像、視覺問答等任務中大放異彩，背后離不開海量數據、強大算力和復雜參數的支撐。
但是！大模型看似龐大的身軀背后卻有一顆脆弱的“心臟”，極易受到攻擊。攻擊者可以通過在輸入圖像中添加擾動模型，輕而易舉擾亂輸出；針對語言組件制作惡意提示詞，破壞模型輸出的完整性；通過篡改訓練數據削弱模型的性能和可靠性等等。一旦攻擊成功，這對于下游的醫療圖像識別、自動駕駛等應用無異于致命打擊！
好在，最近北大團隊給這些攻擊手法來了個“大起底”，全面總結了不同類型的LVLM攻擊方法，涵蓋單模態和多模態，通過抽象出所有方法的共性，建立了更全面的分類法，并指明了未來研究的方向，條理清晰，邏輯嚴密。這對想了解這個領域的新手來說，簡直是入門寶典！
論文標題:A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends
論文鏈接：https://arxiv.org/pdf/2407.07403
相關文章可在以下鏈接中獲取：h

原文鏈接：今日arXiv最熱大模型論文：北京大學最新綜述：視覺大模型中的漏洞與攻防對抗

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：