劍橋大學(xué)：基于語音的大模型攻擊，輕松“操縱”多模態(tài)大模型

AIGC動態(tài)歡迎閱讀

原標(biāo)題：劍橋大學(xué)：基于語音的大模型攻擊，輕松“操縱”多模態(tài)大模型
關(guān)鍵字：模型,語音,英語,轉(zhuǎn)錄,方法
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | Richard隨著人工智能技術(shù)的快速發(fā)展，基于語音的大模型正在成為一個熱門領(lǐng)域。這些模型不僅能實現(xiàn)語音識別，還可以執(zhí)行翻譯等多種任務(wù)。然而，最近劍橋大學(xué)的研究人員發(fā)現(xiàn)了一個令人擔(dān)憂的安全隱患 —— 通過簡單的聲音操控，就可以輕松”操縱”這些多模態(tài)大模型的行為。
研究人員以OpenAI的Whisper模型為例，展示了如何通過在輸入音頻前添加一小段特制的聲音，就能迫使模型執(zhí)行翻譯而非預(yù)設(shè)的轉(zhuǎn)錄任務(wù)。這種攻擊方法不需要接觸模型內(nèi)部，而且具有普遍適用性，對不同語言都有效。
這項研究揭示了語音大模型面臨的新型安全威脅，同時也為我們敲響了警鐘：在部署這類靈活的多任務(wù)模型時需要更加謹(jǐn)慎，采取更嚴(yán)格的安全措施。接下來，讓我們深入了解這項有趣而又發(fā)人深省的研究。
論文標(biāo)題：CONTROLLING WHISPER: UNIVERSAL ACOUSTIC ADVERSARIAL ATTACKS TO CONTROL SPEECH FOUNDATION MODELS
論文鏈接：https://arxiv.org/pdf/2407.04482
語音大模型的新威脅Whisper采用了編

原文鏈接：劍橋大學(xué)：基于語音的大模型攻擊，輕松“操縱”多模態(tài)大模型

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189