ICLR 2024 Oral｜用巧妙的「傳送」技巧，讓神經網絡的訓練更加高效

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：ICLR 2024 Oral｜用巧妙的「傳送」技巧，讓神經網絡的訓練更加高效
關鍵字：曲率,損失,梯度,算法,對稱性
文章來源：機器之心
內容字數：6220字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本論文作者趙博是加州大學圣地亞哥分校的三年級在讀博士，其導師為 Rose Yu。她的主要研究方向為神經網絡參數空間中的對稱性，及其對優化、泛化和損失函數地貌的影響。她曾獲 DeepMind 獎學金，并且是高通創新獎學金的決賽入圍者。郵箱：bozhao@ucsd.edu
眾多神經網絡模型中都會有一個有趣的現象：不同的參數值可以得到相同的損失值。這種現象可以通過參數空間對稱性來解釋，即某些參數的變換不會影響損失函數的結果。基于這一發現，傳送算法（teleportation）被設計出來，它利用這些對稱變換來加速尋找最優參數的過程。盡管傳送算法在實踐中表現出了加速優化的潛力，但其背后的確切機制尚不清楚。
近日，來自加州大學圣地亞哥分校、Flatiron Institu

原文鏈接：ICLR 2024 Oral｜用巧妙的「傳送」技巧，讓神經網絡的訓練更加高效