北京大學彭宇新教授團隊開源最新多輪交互式商品檢索模型、數據集及評測基準

相關論文已被 ICLR 2025 接收，并已開源。

原標題：北京大學彭宇新教授團隊開源最新多輪交互式商品檢索模型、數據集及評測基準
文章來源：機器之心
內容字數：8463字

北京大學彭宇新教授團隊ICLR 2025論文：多輪組合圖像檢索新基準FashionMT及模型MAI

本文介紹了北京大學彭宇新教授團隊在多輪交互式商品檢索領域的最新研究成果，該成果已被ICLR 2025接收并開源。該研究針對現有多輪組合圖像檢索（MTCIR）方法存在的歷史上下文缺失和數據規模受限問題，提出了新的數據集和模型。

1. 現有MTCIR方法的不足

現有的MTCIR方法通常通過串聯單輪CIR數據集構建多輪數據集，存在兩大缺陷：首先，修改文本缺乏對歷史圖像的關聯，導致檢索偏離實際場景；其次，數據規模受限，難以滿足研究和應用需求。

2. 新數據集FashionMT

為了解決上述問題，該研究構建了新的多輪組合圖像檢索數據集和評測基準FashionMT。FashionMT具有以下特點：

1. 回溯性：每輪修改文本可能涉及歷史參考圖像信息，要求算法回溯利用多輪歷史信息。

2. 多樣化：FashionMT包含的電商圖像數量和類別分別是MT FashionIQ的14倍和30倍，交互輪次數量接近其27倍，提供了豐富的多模態檢索場景。

FashionMT的構建利用了一個自動化的修改生成框架（MGF），該框架能夠自動生成具有回溯性（回滾和組合兩種情境）的修改文本。

3. 多輪聚合-迭代模型MAI

該研究提出了多輪聚合-迭代模型MAI，以應對MTCIR中的兩大挑戰：多模態語義聚合和多輪信息優化。

1. 兩階段語義聚合（TSA）：逐步將圖像與其描述文本聚合，再與修改文本聚合，并結合循環組合損失（CCL）計算，增強語義一致性和模態對齊。

2. 無參數多輪迭代優化（MIO）：動態選擇具有高語義多樣性的代表性標記，有效壓縮了歷史數據表征的存儲空間。

MAI包含四個主要模塊：多模態語義聚合（BSA）、多輪迭代優化（MIO）、修改語義聚合（MSA）和循環組合損失（CCL）。其中，MIO模塊利用基于聚類算法的token選擇策略，實現長程依賴建模中的信息優化。

4. 實驗結果

實驗結果表明，MAI方法在FashionMT數據集上的召回指標平均提升了8%，優于現有方法。MAI能夠有效處理細粒度需求和回溯性需求。

5. 總結

該研究通過構建新的數據集FashionMT和提出新的模型MAI，有效地解決了現有MTCIR方法的不足，為多輪交互式商品檢索提供了新的解決方案。FashionMT數據集和MAI模型的開源，將促進該領域的研究和發展。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺