擴散模型也能推薦短視頻！港大騰訊提出新范式DiffMM

AIGC動態歡迎閱讀

原標題：擴散模型也能推薦短視頻！港大騰訊提出新范式DiffMM
關鍵字：用戶,物品,模型,作者,騰訊
文章來源：量子位
內容字數：0字

內容摘要：

DiffMM團隊投稿量子位 | 公眾號 QbitAI想象一下你在刷短視頻，系統想要推薦你可能會喜歡的內容。
但是，如果系統只知道你過去看過什么，而不了解你喜歡視頻的哪些方面（比如是畫面、文字描述還是背景音樂），那么推薦可能就不會那么精準。
對此，來自港大和騰訊的研究人員推出了全新多模態推薦系統范式——DiffMM。
簡單來說，DiffMM創建了一個包含用戶和視頻信息的圖，這個圖會考慮視頻的各種元素。
然后它通過一種特殊的方法（圖擴散）來增強這個圖，讓模型更好地理解用戶和視頻之間的關系。
最后，它使用一種叫做對比學習的技術，來確保不同元素（比如視覺和聲音）之間的一致性，這樣推薦系統就能更好地理解用戶的喜好。
為了測試效果，團隊在三個公共數據集上進行了大量實驗，結果證明DiffMM相比于各種競爭性基線模型均達到SOTA。
目前相關論文已公開，代碼也已開源。
模型方法DiffMM的總體框架圖如下所示，主要包含三個部分：
多模態圖擴散模型，通過生成擴散模型實現多模態信息引導的模態感知用戶-物品圖生成；
多模態圖聚合，通過在生成的模態感知用戶-物品圖上進行圖卷積操作以實現多模態信息聚合；
跨模

原文鏈接：擴散模型也能推薦短視頻！港大騰訊提出新范式DiffMM