谷歌承認(rèn)“”O(jiān)penAI模型關(guān)鍵信息：成本低至150元，調(diào)用API即可得手

AIGC動態(tài)歡迎閱讀

原標(biāo)題：谷歌承認(rèn)“”OpenAI模型關(guān)鍵信息：成本低至150元，調(diào)用API即可得手
關(guān)鍵字：模型,騰訊,報告,維度,信息
文章來源：量子位
內(nèi)容字?jǐn)?shù)：3818字

內(nèi)容摘要：

明敏 豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI什么？谷歌成功偷家OpenAI，還到了gpt-3.5-turbo關(guān)鍵信息？？？
是的，你沒看錯。
根據(jù)谷歌自己的說法，它不僅還原了OpenAI大模型的整個投影矩陣（projection matrix），還知道了確切隱藏維度大小。
而且方法還極其簡單——
只要通過API訪問，不到2000次巧妙的查詢就搞定了。
成本根據(jù)調(diào)用次數(shù)來看，最低20美元以內(nèi)（折合人民幣約150元）搞定，并且這種方法同樣適用于GPT-4。
好家伙，這一回奧特曼是被將軍了！
這是谷歌的一項最新研究，它報告了一種攻擊大模型關(guān)鍵信息的方法。
基于這種方法，谷歌了GPT系列兩個基礎(chǔ)模型Ada和Babbage的整個投影矩陣。如隱藏維度這樣的關(guān)鍵信息也直接破獲：
一個為1024，一個為2048。
所以，谷歌是怎么實現(xiàn)的？
攻擊大模型的最后一層該方法核心攻擊的目標(biāo)是模型的嵌入投影層（embedding projection layer），它是模型的最后一層，負(fù)責(zé)將隱藏維度映射到logits向量。
由于logits向量實際上位于一個由嵌入投影層定義的低維子空間內(nèi)，

原文鏈接：谷歌承認(rèn)“”O(jiān)penAI模型關(guān)鍵信息：成本低至150元，調(diào)用API即可得手

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破