AIGC動態(tài)歡迎閱讀

原標題：今日arXiv最熱NLP論文：Meta重磅，為訓練數(shù)據(jù)打上烙印，以判斷是否被大模型所用
關鍵字：水印,模型,放射性,數(shù)據(jù),文本
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：11408字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)編輯 | 謝年年為了將LLMs打造類想要的樣子，通常需要收集大量數(shù)據(jù)微調(diào)模型。在LLMs時代之前，眾包是獲取標注數(shù)據(jù)的主要方式。
自從LLMs出來后，研究者們探索出可以從強大的模型如Bard、ChatGPT或Claude中生成合成數(shù)據(jù)微調(diào)自己的模型，相比眾包更加省時省力省錢。
但這一過程涉及到了使用其他模型生成的數(shù)據(jù)，可能會引發(fā)版權和知識產(chǎn)權的問題。例如，如果一個模型被用來生成訓練數(shù)據(jù)，而這些數(shù)據(jù)又被用來訓練另一個模型，那么后者是否是對前者的派生作品？
為了追根溯源，可以像圖片版權保護一樣為LLM的輸出打上水?。╳atermarking），以此來檢測合成數(shù)據(jù)，極大的促進了大模型的安全防護。
最近關于LLM水印技術的文章很多，今天介紹的這篇文章來自Meta，它并沒有探討如何在保障輸出質(zhì)量的情況下為LLM打水印，而是另辟蹊徑，研究水印文本的“放射性”——即水印文本被用作微調(diào)數(shù)據(jù)時會發(fā)生什么呢？對模型的潛在“污染”能力有多大？
論文標題：Watermarking Makes Language Models Radioactive
前置知識考慮到有些童鞋對水印技術不太了解

原文鏈接：今日arXiv最熱NLP論文：Meta重磅，為訓練數(shù)據(jù)打上烙印，以判斷是否被大模型所用

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網(wǎng)中高管和機構投資人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報道深度。