謝賽寧新作：表征學習有多重要？一個操作刷新SOTA，DiT訓練速度暴漲18倍

AIGC動態歡迎閱讀

原標題：謝賽寧新作：表征學習有多重要？一個操作刷新SOTA，DiT訓練速度暴漲18倍
關鍵字：模型,表征,表示,編碼器,視覺
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】在NLP領域，研究者們已經充分認識并認可了表征學習的重要性，那么視覺領域的生成模型呢？最近，謝賽寧團隊發表的一篇研究就拿出了非常有力的證據：Representation matters！擴散模型如何突破瓶頸？成本高又難訓練的DiT/SiT模型如何提升效率？
對于這個問題，紐約大學謝賽寧團隊最近發表的一篇論文找到了一個全新的切入點：提升表征（representation）的質量。
論文的核心或許就可以用一句話概括：「表征很重要！」
用謝賽寧的話來說，即使只是想讓生成模型重建出好看的圖像，仍然需要先學習強大的表征，然后再去渲染高頻的、使圖像看起來更美觀的細節。
這個觀點，Yann LeCun之前也多次強調過。
有網友還在線幫謝賽寧想標題：你這篇論文不如就叫「Representation is all you need」（手動狗頭）
由于觀點一致，這篇研究也獲得了同在紐約大學的Yann LeCun的轉發。
當使用自監督學習訓練視覺編碼器時，我們知道一個事實，使用具有重建損失（reconstruction loss）的解碼器的效果遠遠不如具有特征預測損失（

原文鏈接：謝賽寧新作：表征學習有多重要？一個操作刷新SOTA，DiT訓練速度暴漲18倍

聯系作者

文章來源：新智元
作者微信：
作者簡介：