大模型也有小偷？為保護你的參數(shù)，上交大給大模型制作「人類可讀指紋」

AIGC動態(tài)歡迎閱讀

原標題：大模型也有小偷？為保護你的參數(shù)，上交大給大模型制作「人類可讀指紋」
關鍵字：模型,指紋,參數(shù),政策,向量
文章來源：機器之心
內容字數(shù)：8118字

內容摘要：

機器之心專欄
機器之心編輯部將不同的基模型象征為不同品種的狗，其中相同的「狗形指紋」表明它們源自同一個基模型。
大模型的預訓練需要耗費巨量的計算資源和數(shù)據(jù)，因而預訓練模型的參數(shù)也正成為各大機構重點保護的核心競爭力和資產。然而，不同于傳統(tǒng)的軟件知識產權保護可以通過比對源代碼來確認是否存在代碼盜用，對預訓練模型參數(shù)盜用的判斷存在以下兩方面的新問題：
1） 預訓練模型的參數(shù)，尤其是千億級別模型的參數(shù)，通常不會開源。
2） 更重要的是，預訓練模型的輸出和參數(shù)都會隨著 SFT、RLHF、continue pretraining 等下游處理步驟而變化。這使得無論是基于模型輸出還是基于模型參數(shù)，都很難判斷某一模型是否是基于另一現(xiàn)有模型微調得來。
因此，對大模型參數(shù)的保護是一個尚缺乏有效解決方案的全新問題。
為此，來自上海交通大學林洲漢老師的 Lumia 研究團隊研發(fā)了一種人類可讀的大模型指紋，這一方法可以在不需要公開模型參數(shù)的條件下，有效識別各個大模型之間的血統(tǒng)關系。
該方法提供兩種判別方式：一種是定量的判別方式，通過給出被測大模型和一系列基模型之間的相似度來揭示被測是否盜用了某個預訓練基模型；第二

原文鏈接：大模型也有小偷？為保護你的參數(shù)，上交大給大模型制作「人類可讀指紋」

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產業(yè)服務平臺