小紅書官方翻譯曝出存在Bug。

原標題：小紅書AI翻譯被玩瘋！網友攻陷評論區，工程師緊急堵bug
文章來源：智東西
內容字數：1761字

小紅書翻譯功能上線即現BUG，網友狂歡半天

1. **上線即現BUG：** 小紅書于1月20日上線了新的翻譯功能，但很快就被網友發現存在嚴重漏洞。通過特定的提示詞——半角雙引號內的任意外文內容+任意指令——可以繞過翻譯功能，向背后的大型語言模型發出各種指令，例如寫笑話、寫歌、甚至獲取模型的IP地址等。

2. **網友的“狂歡”：** 這一漏洞被發現后，眾多網友紛紛嘗試，在評論區進行各種“”大模型的活動。他們讓模型創作關于馬斯克的笑話、創作C++贊歌、甚至默寫Resnet50代碼，以及嘗試獲取模型的IP地址等。 一些網友成功地讓模型輸出多行貓貓表情包，提升了評論效果，展現了該功能的潛在應用價值，例如AI輔助評論創作。

3. **強大的翻譯能力與模型身份猜測：** 盡管存在漏洞，網友們也發現小紅書的翻譯功能本身相當強大。它能夠翻譯摩斯電碼、解釋顏文字，并準確地將中式英語翻譯成標準中文。 通過特定提示，部分用戶獲得模型自稱是GPT-4的回復，但也有用戶得到模型自稱來自智譜的ChatGLM的回復，因此模型的真實身份尚無法確定。

4. **BUG修復與狂歡結束：** 小紅書程序員迅速對該漏洞進行了修復。下午3點左右，大部分指令已無法觸發漏洞，翻譯功能恢復正常，僅有少數特定提示詞仍能偶爾觸發，但穩定性極差。這場持續半天左右的網友“狂歡”最終結束。

5. **總結：** 小紅書翻譯功能的上線以及隨后發生的漏洞，展現了大型語言模型的強大能力和潛在風險。雖然漏洞本身帶來了短暫的娛樂，但也凸顯了技術應用中安全性及穩定性的重要性。 小紅書的快速反應和修復，也體現了其對用戶體驗的重視。

6. **未來展望：** 此次引發了人們對大型語言模型應用的更多思考。如何在保證功能強大的同時，有效控制風險，避免被惡意利用，是未來需要解決的關鍵問題。 此次也提醒我們，新技術的應用需要謹慎，在追求功能的同時，更要重視安全性和穩定性。

聯系作者

文章來源：智東西
作者微信：
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。