AIGC動態(tài)歡迎閱讀

原標(biāo)題：「無需配對數(shù)據(jù)」就能學(xué)習(xí)！浙大等提出連接多模態(tài)對比表征C-MCR｜NeurIPS 2023

關(guān)鍵字：表征,語義,對比,文本,空間

文章來源：新智元

內(nèi)容字?jǐn)?shù)：6326字

內(nèi)容摘要：新智元報道編輯：LRS 好困【新智元導(dǎo)讀】C-MCR利用現(xiàn)有多模態(tài)對比表征間可能存在的重疊模態(tài)，來連接不同的對比表征，從而學(xué)到更多模態(tài)間的對齊關(guān)系，實現(xiàn)了在缺乏配對數(shù)據(jù)的多模態(tài)間進(jìn)行訓(xùn)練。多模態(tài)對比表示（multi-modal contrastive representation, MCR）的目標(biāo)是將不同模態(tài)的輸入編碼到一個語義對齊的共享空間中。隨著視覺-語言領(lǐng)域中CLIP模型的巨大成功，更多模態(tài)上的對比表征開始涌現(xiàn)出來，并在諸多下游任務(wù)上得到了明顯的提升，但是這些方法嚴(yán)重依賴于大規(guī)模高質(zhì)量的配對數(shù)據(jù)。為了解決這個問題，來自浙江大學(xué)等機(jī)構(gòu)的研究人員提出了連接多模態(tài)對比表示（C-MCR），一種無需配對數(shù)據(jù)且訓(xùn)練極為高效的多模態(tài)對比表征學(xué)習(xí)方法。論文地址：https://arxiv.org/abs/2305.14381項目主頁：https://c-mcr.github.io/C-MCR/模型和…

原文鏈接：點此閱讀原文：「無需配對數(shù)據(jù)」就能學(xué)習(xí)！浙大等提出連接多模態(tài)對比表征C-MCR｜NeurIPS 2023

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。