大神Karpathy：我給大模型「SQL注入」攻擊，簡直不要太輕松

AIGC動態歡迎閱讀

原標題：大神Karpathy：我給大模型「SQL注入」攻擊，簡直不要太輕松
關鍵字：字符串,代碼,分詞,模型,表示
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：杜偉、澤南大模型的安全性，可以說是「有很大進步空間」。
AI 大牛 Andrej Karpathy 又來科普知識了，這次的主題是「利用特殊 token 對 LLM 進行類 SQL 注入的攻擊」。
所謂 SQL 注入攻擊，它是一種網絡攻擊技術。攻擊者通過將惡意的 SQL 語句插入到應用程序的輸入字段中，誘使后臺數據庫執行這些惡意的 SQL 語句。此類攻擊通常利用應用程序對用戶輸入的處理不當，比如沒有正確地對輸入進行過濾或轉義，導致攻擊者能夠訪問、修改甚至刪除數據庫中的數據。由于人們的安全意識逐漸升高，目前對于大多數軟件產品來說，SQL 注入都不應該出現。
但在大模型領域，一切都還處于初步階段。LLM 分詞器負責對輸入字符串中的特殊 token（如 、 等）進行解析。雖然這看起來很方便，但最多會導致誤判；最壞的情況下會導致 LLM 安全漏洞，相當于 SQL 注入攻擊。
這里就要注意了：用戶輸入字符串是不受信任的數據。
在 SQL 注入中，你可以使用「DROP TABLE」攻擊來不良代碼。在 LLM 中同樣會遇到相同的問題，不良代將

原文鏈接：大神Karpathy：我給大模型「SQL注入」攻擊，簡直不要太輕松

聯系作者

文章來源：機器之心
作者微信：
作者簡介：