Meta 聯合紐約大學和華盛頓大學提出MetaCLIP，帶你揭開CLIP的高質量數據之謎。

AIGC動態(tài)歡迎閱讀

原標題：Meta 聯合紐約大學和華盛頓大學提出MetaCLIP，帶你揭開CLIP的高質量數據之謎。
關鍵字：數據,算法,模型,質量,字符串
文章來源：機器之心
內容字數：5068字

內容摘要：

AIxiv專欄是機器之心發(fā)布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。自2021年誕生，CLIP已在計算機視覺識別系統(tǒng)和生成模型上得到了廣泛的應用和巨大的成功。我們相信CLIP的創(chuàng)新和成功來自其高質量數據（WIT400M），而非模型或者損失函數本身。雖然3年來CLIP有大量的后續(xù)研究，但并未有研究通過對CLIP進行嚴格的消融實驗來了解數據、模型和訓練的關系。
CLIP原文僅有簡短的數據處理描述，而后續(xù)工作依靠已經訓練好的CLIP來重新過濾數據去訓練CLIP（學生）模型。更廣泛地說，雖然目前的開源著重強調已訓練模型權重的公開，而訓練數據以及如何從低質量數據獲得高質量數據的技巧的公開度卻往往并不那么高。
本文帶你揭開CLIP的數據質量之謎，為開源社區(qū)帶來元數據導向的CLIP預訓練（MetaCLIP)。原文鏈接：https://ar

原文鏈接：Meta 聯合紐約大學和華盛頓大學提出MetaCLIP，帶你揭開CLIP的高質量數據之謎。

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產業(yè)服務平臺