<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        超越KL!大連理工發布Wasserstein距離知識蒸餾新方法|NeurIPS 2024

        AIGC動態5個月前發布 新智元
        257 0 0

        超越KL!大連理工發布Wasserstein距離知識蒸餾新方法|NeurIPS 2024

        原標題:超越KL!大連理工發布Wasserstein距離知識蒸餾新方法|NeurIPS 2024
        文章來源:新智元
        內容字數:7110字

        基于Wasserstein距離的知識蒸餾方法:超越KL散度的知識遷移

        本文總結了大連理工大學研究人員發表在NeurIPS 2024上的論文,該論文提出了一種基于Wasserstein距離 (WD) 的知識蒸餾 (KD) 方法,在圖像分類和目標檢測任務上取得了顯著成果,并超越了傳統的基于Kullback-Leibler散度 (KL-Div) 的方法。

        1. 傳統KL-Div方法的局限性

        傳統的基于KL-Div的知識蒸餾方法,盡管在Logit蒸餾中取得了成功,但存在兩個主要缺陷:首先,KL-Div只比較教師和學生模型在相同類別上的概率,忽略了類別間的相互關系;其次,在Feature蒸餾中,KL-Div難以處理高維稀疏的深度特征,無法有效處理不重疊的分布,也無法捕捉底層流形的幾何結構。

        2. 基于Wasserstein距離的知識蒸餾方法 (WKD)

        為了克服KL-Div的局限性,研究人員提出了WKD方法,該方法包含兩個部分:WKD-L (Logit蒸餾) 和 WKD-F (Feature蒸餾)。

        2.1 WKD-L: 基于離散WD的Logit蒸餾

        WKD-L利用離散WD最小化教師和學生模型預測概率的差異。通過這種方式,WKD-L能夠進行跨類別比較,有效利用類別間的相互關系 (IRs),這與KL-Div的類別內比較形成對比。 研究人員使用CKA來量化類別間的相互關系,并將其融入損失函數中。

        2.2 WKD-F: 基于連續WD的Feature蒸餾

        WKD-F利用連續WD進行中間層特征的知識蒸餾。它通過高斯分布建模特征的分布,并最小化教師和學生模型特征分布之間的WD距離。這種方法能夠有效利用高斯分布的Riemann空間幾何結構,克服了KL-Div無法感知幾何結構的缺點。

        3. 實驗結果與分析

        研究人員在ImageNet、CIFAR-100和MS-COCO數據集上進行了大量的實驗,結果表明:

        1. 在ImageNet圖像分類任務中,WKD-L優于各種基于KL-Div的Logit蒸餾方法;WKD-F優于現有最先進的Feature蒸餾方法;WKD-L和WKD-F結合后,性能進一步提升。
        2. 在CIFAR-100圖像分類任務中,WKD在跨CNN和Transformer的知識遷移中表現出色,尤其是在Feature蒸餾方面。
        3. 在ImageNet自蒸餾任務中,WKD-L取得了最佳結果。
        4. 在MS-COCO目標檢測任務中,WKD-L和WKD-F均顯著優于現有方法,結合后性能進一步提升,甚至超越了最先進的方法。

        4. 結論

        這項研究證明了Wasserstein距離在知識蒸餾領域的有效性。WKD方法在Logit和Feature蒸餾方面均取得了優異的性能,為知識蒸餾研究提供了新的方向。雖然WKD-L的計算成本略高于基于KL-Div的方法,且WKD-F假設特征服從高斯分布,但這項工作仍然為知識蒸餾領域帶來了重要的貢獻。


        聯系作者

        文章來源:新智元
        作者微信:
        作者簡介:智能+中國主平臺,致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展,關注人機融合、人工智能和機器人對人類社會與文明進化的影響,領航中國新智能時代。

        閱讀原文
        ? 版權聲明
        Trae官網

        相關文章

        Trae官網

        暫無評論

        暫無評論...
        主站蜘蛛池模板: 亚洲日韩乱码中文字幕| 久久久久亚洲精品影视| 亚洲首页国产精品丝袜| 久视频精品免费观看99| 亚洲综合综合在线| 亚洲人成免费电影| 亚洲无mate20pro麻豆| 少妇高潮太爽了在线观看免费| 亚洲冬月枫中文字幕在线看| 99久久免费精品国产72精品九九| 亚洲AV无码AV吞精久久| 啊灬啊灬别停啊灬用力啊免费看| 黄色a级片免费看| 亚洲区小说区激情区图片区| 最近免费中文字幕mv在线电影| 亚洲三级中文字幕| 国产自产拍精品视频免费看| 猫咪免费人成网站在线观看入口 | 免费人成激情视频| j8又粗又长又硬又爽免费视频| 亚洲精品无码专区在线在线播放 | 精品人妻系列无码人妻免费视频| 国产AV无码专区亚洲Av| 久久天天躁狠狠躁夜夜免费观看| 亚洲七久久之综合七久久| 亚洲精品无码日韩国产不卡?V| 四虎国产成人永久精品免费| 亚洲中文字幕无码av| 亚洲精品高清一二区久久| 久久成人免费电影| 亚洲精品无播放器在线播放| 国产亚洲精品无码拍拍拍色欲| 91精品成人免费国产片| 老司机午夜性生免费福利| 亚洲国产精品久久| 免费国产小视频在线观看| 久久免费视频99| 国产精品亚洲精品爽爽| 亚洲第一AAAAA片| 免费看a级黄色片| 久久久久久国产精品免费免费男同 |