基于反事實學習的新型聯邦學習框架。
浙江大學研究團隊提出FedCFA:基于反事實學習的聯邦學習框架
本文介紹了浙江大學人工智能研究所研究團隊提出的FedCFA框架,該框架旨在解決聯邦學習中因數據異質性導致的辛普森悖論問題,并已被AAAI 2025接收。FedCFA通過在客戶端本地生成反事實樣本,使本地數據分布更接近全局分布,從而提高模型的準確性。
1. 聯邦學習中的辛普森悖論
聯邦學習允許多個客戶端在不共享數據的情況下協同訓練模型,但客戶端數據異質性(Non-IID)會導致辛普森悖論:局部數據趨勢一致,但全局數據趨勢相反。這使得聚合的全局模型無法準確反映所有客戶端的數據分布,影響模型準確性。例如,在貓狗圖像分類任務中,如果每個客戶端的數據都顯示淺色動物是貓,深色動物是狗,則聚合模型可能錯誤地將顏色與類別關聯。
2. 反事實學習的應用
反事實學習通過生成與現實數據不同的虛擬樣本,探索不同條件下的模型行為,幫助模型更好地理解數據中的因果關系,避免學習到虛假的關聯。在聯邦學習中,反事實學習可緩解辛普森悖論,使全局模型更準確地反映整體數據分布。
3. FedCFA框架簡介
FedCFA框架的核心思想是利用反事實學習來解決聯邦學習中的辛普森悖論。它通過在客戶端生成與全局平均數據對齊的反事實樣本,使本地數據分布更接近全局分布,從而避免模型學習到錯誤的特征-標簽關聯。FedCFA包含以下關鍵步驟:
4. 全局平均數據集的構建
FedCFA利用中心極限定理構建全局平均數據集,近似全局數據分布。具體步驟包括:1. 本地平均數據集計算:每個客戶端將本地數據集隨機劃分為多個子集,計算每個子集的平均值,生成本地平均數據集;2. 全局平均數據集計算:服務器端聚合來自多個客戶端的本地平均數據,計算全局平均數據集。
5. 反事實變換模塊
反事實變換模塊在端側生成與全局數據對齊的反事實樣本。該模塊包括:1. 特征提取;2. 選擇關鍵特征(梯度大小);3. 生成反事實樣本(用全局平均數據特征替換可替換特征因子)。為了提高反事實樣本的質量,FedCFA 引入了因子去相關損失,減少提取出的特征因子之間的相關性。
6. 因子去相關損失
為了確保每個特征因子只攜帶單一信息,FedCFA 引入了因子去相關損失 (FDC),通過計算每對特征之間的皮爾遜相關系數,并將其作為正則化項加入到總損失函數中,減少特征之間的相關性。
7. 實驗結果
實驗結果表明,在具有辛普森悖論的數據集上,FedCFA 的全局模型精度高于 FedAvg 和 FedMix,并且達到目標精度所需的通信輪數更少。這證明了 FedCFA 在緩解辛普森悖論和提高聯邦學習模型準確性方面的有效性。
8. 總結
FedCFA 框架通過巧妙地結合反事實學習和聯邦學習,有效地解決了聯邦學習中數據異質性導致的辛普森悖論問題,為提高聯邦學習模型的準確性和魯棒性提供了一種新的思路。該研究成果為未來聯邦學習的研究提供了重要的參考價值。
聯系作者
文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺