本文介紹對LLM提示詞注入攻擊（prompt injection）的通用防御框架。

原標題：USENIX Sec'25 | LLM提示詞注入攻擊如何防？UC伯克利、Meta最新研究來了
文章來源：機器之心
內(nèi)容字數(shù)：4524字

提示詞注入攻擊的通用防御框架

近年來，隨著大語言模型（LLM）在應(yīng)用系統(tǒng)中的廣泛部署，提示詞注入攻擊成為了當前面臨的重大安全威脅。本文介紹了一種通用的防御框架，旨在提升 LLM 應(yīng)用的安全性，減少提示詞注入攻擊的成功率。

1. 提示詞注入攻擊的背景

LLM 的強大語言能力使其被廣泛應(yīng)用于各種系統(tǒng)中。然而，在與外部數(shù)據(jù)交互時，攻擊者可以在不可信的數(shù)據(jù)中注入惡意指令，覆蓋 LLM 原有的指令。例如，在一個點評網(wǎng)站上，惡意評論可能會誤導(dǎo) LLM 推薦不佳的餐廳。這種攻擊形式被 OWASP 列為 LLM 應(yīng)用系統(tǒng)的最大威脅之一。

2. 提示詞注入攻擊的原因

提示詞注入攻擊的主要原因有兩個：第一，LLM 輸入未能有效分離指令和數(shù)據(jù)，導(dǎo)致二者直接拼接。第二，LLM 在訓(xùn)練時被教導(dǎo)遵循輸入中的任意指令，缺乏對注入指令的識別能力。

3. 防御策略

為應(yīng)對提示詞注入攻擊，研究者提出了三種防御策略：

1. **安全前端**：設(shè)計專用的分隔符，明確分離指令和數(shù)據(jù)，并確保這些分隔符只能被系統(tǒng)使用。

2. **結(jié)構(gòu)化指令微調(diào)**：在訓(xùn)練過程中，通過模擬提示詞注入攻擊，教導(dǎo)模型忽視注入指令，僅遵循可信的原指令。

3. **安全對齊**：構(gòu)建偏好數(shù)據(jù)集，通過對比樣本，微調(diào)模型，使其在面對注入指令時，能夠優(yōu)先回復(fù)原指令。

4. 防御結(jié)果

經(jīng)過測試，結(jié)合安全前端與結(jié)構(gòu)化指令微調(diào)的防御策略 StruQ，在無優(yōu)化的攻擊場景中成功率低于 2%；而結(jié)合安全前端與安全對齊的策略 SecAlign，成功率更是降至 0%。此外，在基于優(yōu)化的提示詞注入攻擊中，SecAlign 的成功率也顯著降低，顯示出這兩種策略的有效性。

5. 總結(jié)

本文提出了對提示詞注入攻擊的深入分析和防御策略，強調(diào)了在 LLM 輸入中分離指令與數(shù)據(jù)的重要性，以及在模型訓(xùn)練中增強對安全指令的識別能力。通過這些策略，可以顯著提升 LLM 應(yīng)用的安全性，為應(yīng)對未來的安全挑戰(zhàn)提供了有力的保障。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺