更通用、有效，螞蟻自研優(yōu)化器WSAM入選KDD Oral

AIGC動態(tài)歡迎閱讀

原標題：更通用、有效，螞蟻自研優(yōu)化器WSAM入選KDD Oral

關鍵字：極值,損失,權重,基礎,函數(shù)

文章來源：機器之心

內容字數(shù)：11790字

內容摘要：機器之心專欄機器之心編輯部螞蟻 AI Infra 團隊在深度學習最核心之一的優(yōu)化器方向持續(xù)投入與創(chuàng)新，實現(xiàn)了 AI 訓練節(jié)約資源、加速收斂、提升泛化等目標。我們將推出“優(yōu)化器三部曲”系列，這是本系列的第一篇。深度神經網絡（DNNs）的泛化能力與極值點的平坦程度密切相關，因此出現(xiàn)了 Sharpness-Aware Minimization (SAM) 算法來尋找更平坦的極值點以提高泛化能力。本文重新…

原文鏈接：點此閱讀原文：更通用、有效，螞蟻自研優(yōu)化器WSAM入選KDD Oral

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產業(yè)服務平臺