相比于知識蒸餾技術，還降低了90%的算力消耗

原標題：性能無損，模型隱私保護效果提升50%!螞蟻數科創新跨域微調框架| AAAI 2025 Oral
文章來源：量子位
內容字數：10406字

螞蟻數科團隊提出ScaleOT：高效輕量的大模型跨域微調框架

螞蟻數科、浙江大學、利物浦大學和華東師范大合團隊在AAAI 2025期間提出了一種創新的跨域微調框架ScaleOT，該框架能夠在保證模型性能無損的前提下，將模型隱私保護效果提升50%，同時算力消耗降低90%。此項研究成果已發表為Oral論文，并應用于螞蟻數科的摩斯大模型隱私保護產品中，成為國內首批通過信通院大模型可信執行環境產品專項測試的產品之一。

1. 跨域微調的挑戰與ScaleOT的創新

現有的跨域微調方法存在兩大局限性：一是“均勻抽積木”式的處理方式易造成模型關鍵層缺失，導致性能下降；二是采用知識蒸餾彌補性能損失，計算成本極高。ScaleOT針對這些問題提出了三大創新思路：

1. 智能層評估與動態保留：利用強化學習對大模型進行掃描，自動識別對當前任務最關鍵的層，動態保留模型“核心層”，有效降低性能損耗。

2. 模型“打碼”技術：對保留的模型原始層進行“打碼”，防止攻擊者通過中間層復原原始模型，顯著提升隱私保護強度，同時幾乎不損失性能。

3. 隱私強度可調節：框架可根據不同場景需求靈活組裝，實現隱私強度可調節。

2. ScaleOT的實現機制

ScaleOT框架包含兩個階段：重要性估計和仿真器生成。第一階段，采用基于重要性感知型層替換的算法Dynamic LayerReplace，利用強化學習確定每一層的權重，并用輕量級網絡（協調器）替換不太重要的層，保持層間語義一致性。第二階段，根據學習到的重要性得分，將原始模型層及其對應的協調器組合生成仿真器，同時在模型所有者端維持滿意性能。此外，ScaleOT還引入了選擇性秩壓縮（SRC）方法，進一步壓縮模型層，提升隱私保護效果。

3. 基于Transformer架構的設計

ScaleOT關注基于Transformer架構的跨域微調。將LLM分解為緊湊型可訓練適配器A和其余部分E。對E進行有損壓縮得到仿真器E*，通過更新A實現模型微調。通過強化學習估計層的重要性分數，引導A和E的選擇，并使用輕量級網絡動態替換原始層，提高性能。

4. 實驗結果與結論

實驗結果表明，ScaleOT在多個模型和數據集上均優于現有方法，在保證模型性能幾乎無損的情況下，顯著提升了模型隱私保護效果。ScaleOT能夠生成不同大小的壓縮模型，并通過選擇性秩壓縮進一步增強隱私保護，同時僅需少量性能損失。這項研究為大模型隱私保護提供了新穎的思路和解決方案，已成功應用于螞蟻數科的摩斯大模型隱私保護產品。

5. ScaleOT的優勢總結

ScaleOT 的主要優勢在于其高效性和靈活性：它在保證模型性能的同時，顯著提升了隱私保護效果并降低了計算成本，并且能夠根據不同場景需求動態調整隱私保護強度，為百億級參數模型的跨域微調提供了一種高效和輕量化的解決方案。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破