聯邦學習中的辛普森悖論，浙大提出反事實學習新框架FedCFA

基于反事實學習的新型聯邦學習框架。

原標題：聯邦學習中的辛普森悖論，浙大提出反事實學習新框架FedCFA
文章來源：機器之心
內容字數：7437字

浙江大學研究團隊提出FedCFA：基于反事實學習的聯邦學習框架

本文介紹了浙江大學人工智能研究所研究團隊提出的FedCFA框架，該框架旨在解決聯邦學習中因數據異質性導致的辛普森悖論問題，并已被AAAI 2025接收。FedCFA通過在客戶端本地生成反事實樣本，使本地數據分布更接近全局分布，從而提高模型的準確性。

1. 聯邦學習中的辛普森悖論

聯邦學習允許多個客戶端在不共享數據的情況下協同訓練模型，但客戶端數據異質性（Non-IID）會導致辛普森悖論：局部數據趨勢一致，但全局數據趨勢相反。這使得聚合的全局模型無法準確反映所有客戶端的數據分布，影響模型準確性。例如，在貓狗圖像分類任務中，如果每個客戶端的數據都顯示淺色動物是貓，深色動物是狗，則聚合模型可能錯誤地將顏色與類別關聯。

2. 反事實學習的應用

反事實學習通過生成與現實數據不同的虛擬樣本，探索不同條件下的模型行為，幫助模型更好地理解數據中的因果關系，避免學習到虛假的關聯。在聯邦學習中，反事實學習可緩解辛普森悖論，使全局模型更準確地反映整體數據分布。

3. FedCFA框架簡介

FedCFA框架的核心思想是利用反事實學習來解決聯邦學習中的辛普森悖論。它通過在客戶端生成與全局平均數據對齊的反事實樣本，使本地數據分布更接近全局分布，從而避免模型學習到錯誤的特征-標簽關聯。FedCFA包含以下關鍵步驟：

4. 全局平均數據集的構建

FedCFA利用中心極限定理構建全局平均數據集，近似全局數據分布。具體步驟包括：1. 本地平均數據集計算：每個客戶端將本地數據集隨機劃分為多個子集，計算每個子集的平均值，生成本地平均數據集；2. 全局平均數據集計算：服務器端聚合來自多個客戶端的本地平均數據，計算全局平均數據集。

5. 反事實變換模塊

反事實變換模塊在端側生成與全局數據對齊的反事實樣本。該模塊包括：1. 特征提取；2. 選擇關鍵特征（梯度大小）；3. 生成反事實樣本（用全局平均數據特征替換可替換特征因子）。為了提高反事實樣本的質量，FedCFA 引入了因子去相關損失，減少提取出的特征因子之間的相關性。

6. 因子去相關損失

為了確保每個特征因子只攜帶單一信息，FedCFA 引入了因子去相關損失 (FDC)，通過計算每對特征之間的皮爾遜相關系數，并將其作為正則化項加入到總損失函數中，減少特征之間的相關性。

7. 實驗結果

實驗結果表明，在具有辛普森悖論的數據集上，FedCFA 的全局模型精度高于 FedAvg 和 FedMix，并且達到目標精度所需的通信輪數更少。這證明了 FedCFA 在緩解辛普森悖論和提高聯邦學習模型準確性方面的有效性。

8. 總結

FedCFA 框架通過巧妙地結合反事實學習和聯邦學習，有效地解決了聯邦學習中數據異質性導致的辛普森悖論問題，為提高聯邦學習模型的準確性和魯棒性提供了一種新的思路。該研究成果為未來聯邦學習的研究提供了重要的參考價值。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺