今日arXiv最熱NLP論文：Meta重磅，為訓練數據打上烙印，以判斷是否被大模型所用

AIGC動態歡迎閱讀

原標題：今日arXiv最熱NLP論文：Meta重磅，為訓練數據打上烙印，以判斷是否被大模型所用
關鍵字：水印,模型,放射性,數據,文本
文章來源：夕小瑤科技說
內容字數：11408字

內容摘要：

夕小瑤科技說 原創編輯 | 謝年年為了將LLMs打造類想要的樣子，通常需要收集大量數據微調模型。在LLMs時代之前，眾包是獲取標注數據的主要方式。
自從LLMs出來后，研究者們探索出可以從強大的模型如Bard、ChatGPT或Claude中生成合成數據微調自己的模型，相比眾包更加省時省力省錢。
但這一過程涉及到了使用其他模型生成的數據，可能會引發版權和知識產權的問題。例如，如果一個模型被用來生成訓練數據，而這些數據又被用來訓練另一個模型，那么后者是否是對前者的派生作品？
為了追根溯源，可以像圖片版權保護一樣為LLM的輸出打上水印（watermarking），以此來檢測合成數據，極大的促進了大模型的安全防護。
最近關于LLM水印技術的文章很多，今天介紹的這篇文章來自Meta，它并沒有探討如何在保障輸出質量的情況下為LLM打水印，而是另辟蹊徑，研究水印文本的“放射性”——即水印文本被用作微調數據時會發生什么呢？對模型的潛在“污染”能力有多大？
論文標題：Watermarking Makes Language Models Radioactive
前置知識考慮到有些童鞋對水印技術不太了解

原文鏈接：今日arXiv最熱NLP論文：Meta重磅，為訓練數據打上烙印，以判斷是否被大模型所用

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI一線開發者、互聯網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備行業嗅覺與報道深度。