AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大神Karpathy：我給大模型「SQL注入」攻擊，簡(jiǎn)直不要太輕松
關(guān)鍵字：字符串,代碼,分詞,模型,表示
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：杜偉、澤南大模型的安全性，可以說(shuō)是「有很大進(jìn)步空間」。
AI 大牛 Andrej Karpathy 又來(lái)科普知識(shí)了，這次的主題是「利用特殊 token 對(duì) LLM 進(jìn)行類 SQL 注入的攻擊」。
所謂 SQL 注入攻擊，它是一種網(wǎng)絡(luò)攻擊技術(shù)。攻擊者通過(guò)將惡意的 SQL 語(yǔ)句插入到應(yīng)用程序的輸入字段中，誘使后臺(tái)數(shù)據(jù)庫(kù)執(zhí)行這些惡意的 SQL 語(yǔ)句。此類攻擊通常利用應(yīng)用程序?qū)τ脩糨斎氲奶幚聿划?dāng)，比如沒(méi)有正確地對(duì)輸入進(jìn)行過(guò)濾或轉(zhuǎn)義，導(dǎo)致攻擊者能夠訪問(wèn)、修改甚至刪除數(shù)據(jù)庫(kù)中的數(shù)據(jù)。由于人們的安全意識(shí)逐漸升高，目前對(duì)于大多數(shù)軟件產(chǎn)品來(lái)說(shuō)，SQL 注入都不應(yīng)該出現(xiàn)。
但在大模型領(lǐng)域，一切都還處于初步階段。LLM 分詞器負(fù)責(zé)對(duì)輸入字符串中的特殊 token（如 、 等）進(jìn)行解析。雖然這看起來(lái)很方便，但最多會(huì)導(dǎo)致誤判；最壞的情況下會(huì)導(dǎo)致 LLM 安全漏洞，相當(dāng)于 SQL 注入攻擊。
這里就要注意了：用戶輸入字符串是不受信任的數(shù)據(jù)。
在 SQL 注入中，你可以使用「DROP TABLE」攻擊來(lái)不良代碼。在 LLM 中同樣會(huì)遇到相同的問(wèn)題，不良代將

原文鏈接：大神Karpathy：我給大模型「SQL注入」攻擊，簡(jiǎn)直不要太輕松

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：