「無需配對數據」就能學習！浙大等提出連接多模態對比表征C-MCR｜NeurIPS 2023

AIGC動態歡迎閱讀

原標題：「無需配對數據」就能學習！浙大等提出連接多模態對比表征C-MCR｜NeurIPS 2023

關鍵字：表征,語義,對比,文本,空間

文章來源：新智元

內容字數：6326字

內容摘要：新智元報道編輯：LRS 好困【新智元導讀】C-MCR利用現有多模態對比表征間可能存在的重疊模態，來連接不同的對比表征，從而學到更多模態間的對齊關系，實現了在缺乏配對數據的多模態間進行訓練。多模態對比表示（multi-modal contrastive representation, MCR）的目標是將不同模態的輸入編碼到一個語義對齊的共享空間中。隨著視覺-語言領域中CLIP模型的巨大成功，更多模態上的對比表征開始涌現出來，并在諸多下游任務上得到了明顯的提升，但是這些方法嚴重依賴于大規模高質量的配對數據。為了解決這個問題，來自浙江大學等機構的研究人員提出了連接多模態對比表示（C-MCR），一種無需配對數據且訓練極為高效的多模態對比表征學習方法。論文地址：https://arxiv.org/abs/2305.14381項目主頁：https://c-mcr.github.io/C-MCR/模型和…

原文鏈接：點此閱讀原文：「無需配對數據」就能學習！浙大等提出連接多模態對比表征C-MCR｜NeurIPS 2023

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。