微軟亞研提出TinyMIM，用知識蒸餾改進小型ViT

AIGC動態歡迎閱讀

動態標題：微軟亞研提出TinyMIM，用知識蒸餾改進小型ViT

關鍵字：模型,方法,特征,效果,關系

文章來源：機器之心

內容字數：5432字

內容摘要：機器之心專欄微軟亞洲研究院本文提出了 TinyMIM，它是第一個成功地使小模型受益于MIM預訓練的模型。一、研究動機掩碼建模（MIM, MAE）被證明是非常有效的自監督訓練方法。然而，如圖 1 所示，MIM 對于更大的模型效果相對更好。當模型很小的時候（比如 ViT-T 5M 參數，這樣的模型對于現實世界非常重要），MIM 甚至可能一定程度上降低模型的效果。比如用 MAE 訓練的 ViT-L 比普…

原文鏈接：點此閱讀原文：微軟亞研提出TinyMIM，用知識蒸餾改進小型ViT

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺