AIGC動態(tài)歡迎閱讀

原標(biāo)題：哈工深提出基于聯(lián)邦學(xué)習(xí)的大模型指令微調(diào)
關(guān)鍵字：數(shù)據(jù),聯(lián)邦,參數(shù),模型,算法
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：7164字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 松果引言：面對數(shù)據(jù)匱乏與隱私挑戰(zhàn)的聯(lián)邦指令調(diào)整在當(dāng)今大語言模型（LLMs）發(fā)展中，指令調(diào)整被證明對于生成與人類對齊的響應(yīng)至關(guān)重要。然而，收集用于調(diào)整的多樣化、高質(zhì)量的指令數(shù)據(jù)面臨挑戰(zhàn)，尤其是在隱私敏感領(lǐng)域。聯(lián)邦指令調(diào)整（FEDIT）作為一種解決方案，利用聯(lián)邦學(xué)習(xí)從多個數(shù)據(jù)所有者那里進(jìn)行學(xué)習(xí)，同時保護(hù)隱私。盡管如此，它仍面臨著有限的指令數(shù)據(jù)和易受訓(xùn)練數(shù)據(jù)提取攻擊的挑戰(zhàn)。為了解決這些問題，研究者提出了一種新的聯(lián)邦算法FEDPIT，該算法利用LLMs的上下文學(xué)習(xí)能力自主生成特定任務(wù)的合成數(shù)據(jù)進(jìn)行訓(xùn)練。采用參數(shù)隔離訓(xùn)練，保持在合成數(shù)據(jù)上訓(xùn)練的全局參數(shù)和在增強(qiáng)本地?cái)?shù)據(jù)上訓(xùn)練的本地參數(shù)，有效地阻止了數(shù)據(jù)提取攻擊。在真實(shí)世界的醫(yī)療數(shù)據(jù)上進(jìn)行的廣泛實(shí)驗(yàn)表明，F(xiàn)EDPIT在提高聯(lián)邦少數(shù)樣本性能的同時，保護(hù)了隱私并對數(shù)據(jù)異質(zhì)性表現(xiàn)出了魯棒性。
論文標(biāo)題：FEDPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning
論文鏈接：https://arxiv.org/pdf/2403.06131

原文鏈接：哈工深提出基于聯(lián)邦學(xué)習(xí)的大模型指令微調(diào)

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網(wǎng)中高管和機(jī)構(gòu)投資人。一線作者來自清北、國內(nèi)外頂級AI實(shí)驗(yàn)室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報(bào)道深度。