哈工深提出基于聯邦學習的大模型指令微調

AIGC動態歡迎閱讀

原標題：哈工深提出基于聯邦學習的大模型指令微調
關鍵字：數據,聯邦,參數,模型,算法
文章來源：夕小瑤科技說
內容字數：7164字

內容摘要：

夕小瑤科技說 原創作者 | 松果引言：面對數據匱乏與隱私挑戰的聯邦指令調整在當今大語言模型（LLMs）發展中，指令調整被證明對于生成與人類對齊的響應至關重要。然而，收集用于調整的多樣化、高質量的指令數據面臨挑戰，尤其是在隱私敏感領域。聯邦指令調整（FEDIT）作為一種解決方案，利用聯邦學習從多個數據所有者那里進行學習，同時保護隱私。盡管如此，它仍面臨著有限的指令數據和易受訓練數據提取攻擊的挑戰。為了解決這些問題，研究者提出了一種新的聯邦算法FEDPIT，該算法利用LLMs的上下文學習能力自主生成特定任務的合成數據進行訓練。采用參數隔離訓練，保持在合成數據上訓練的全局參數和在增強本地數據上訓練的本地參數，有效地阻止了數據提取攻擊。在真實世界的醫療數據上進行的廣泛實驗表明，FEDPIT在提高聯邦少數樣本性能的同時，保護了隱私并對數據異質性表現出了魯棒性。
論文標題：FEDPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning
論文鏈接：https://arxiv.org/pdf/2403.06131

原文鏈接：哈工深提出基于聯邦學習的大模型指令微調

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI一線開發者、互聯網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備行業嗅覺與報道深度。