AIGC動態歡迎閱讀
原標題:重新定義自監督學習!LeCun團隊讓MMCR再進一步
關鍵字:視圖,流形,數據,維度,表示
文章來源:新智元
內容字數:0字
內容摘要:
新智元報道編輯:alan
【新智元導讀】近日,來自斯坦福、MIT、紐約大學和Meta-FAIR等機構的研究人員,通過新的研究重新定義了最大流形容量表示法(MMCR)的可能性。多視圖自監督學習(MVSSL,或稱為聯合嵌入自監督學習)是一種強大的無監督學習方法。它首先創建無監督數據的多個轉換或視圖,然后以類似監督的方式使用這些視圖來學習有用的表示。
實現MVSSL的具體方法有很多,但大致可以分為四類:對比、聚類、蒸餾/動量、冗余減少。
在這眾多的方法中,最大流形容量表示(Maximum Manifold Capacity Representation,MMCR)是與眾不同的一類。
MMCR不明確使用對比,不執行聚類,不利用蒸餾,也不明確減少冗余,但效果卻可以媲美甚至超越其他領先的MVSSL方法。
而來自斯坦福、MIT、紐約大學和Meta-FAIR等機構的研究人員,正在通過新的研究重新定義這個框架的可能性。
論文地址:https://arxiv.org/pdf/2406.09366
作為論文作者之一,LeCun也發推表達了自己的觀點:
除非使用預防機制,否則使用SSL訓練聯合嵌入架構會導致
原文鏈接:重新定義自監督學習!LeCun團隊讓MMCR再進一步
聯系作者
文章來源:新智元
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章

暫無評論...