北大&騰訊打造多模態15邊形戰士！語言作“紐帶”，拳打腳踢各模態，超越Imagebind

AIGC動態歡迎閱讀

原標題：北大&騰訊打造多模態15邊形戰士！語言作“紐帶”，拳打腳踢各模態，超越Imagebind

關鍵字：騰訊,語言,數據,編碼器,研究人員

文章來源：量子位

內容字數：4787字

內容摘要：AI4Happiness投稿量子位 | 公眾號 QbitAI北大聯合騰訊打造了一個多模態15邊形戰士！以語言為中心，“拳打腳踢”視頻、音頻、深度、紅外理解等各模態。具體來說，研究人員提出了一個叫做LanguageBind的多模態預訓練框架。用語言作為與其它模態之間的紐帶，凍結語言編碼器，然后用對比學習方法，將各個模態映射到一個共享的特征空間，實現多模態數據的語義對齊。使用這種方法，模型在5個數據集…

原文鏈接：點此閱讀原文：北大&騰訊打造多模態15邊形戰士！語言作“紐帶”，拳打腳踢各模態，超越Imagebind

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破