Llama都在用的RoPE有了視頻版，復(fù)旦上海AI Lab等提出長視頻理解/檢索絕佳拍檔

具有三維結(jié)構(gòu)，保留時(shí)空關(guān)系

原標(biāo)題：Llama都在用的RoPE有了視頻版，復(fù)旦上海AI Lab等提出長視頻理解/檢索絕佳拍檔
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4948字

VideoRoPE: 增強(qiáng)長視頻理解和檢索的旋轉(zhuǎn)位置嵌入

本文總結(jié)了復(fù)旦大學(xué)、上海AI實(shí)驗(yàn)室等機(jī)構(gòu)提出的VideoRoPE，一種將旋轉(zhuǎn)位置嵌入（RoPE）擴(kuò)展到視頻領(lǐng)域的全新方法，顯著提升了長視頻理解和檢索能力。

1. RoPE在視頻領(lǐng)域的挑戰(zhàn)與VideoRoPE的創(chuàng)新

RoPE因其處理長序列的能力而備受關(guān)注，但將其應(yīng)用于具有復(fù)雜時(shí)空結(jié)構(gòu)的視頻數(shù)據(jù)仍然是一個挑戰(zhàn)。先前的方法，如M-RoPE，在時(shí)間維度建模上存在不足，容易受到干擾項(xiàng)的影響，且難以捕捉長距離時(shí)空依賴關(guān)系。VideoRoPE針對這些問題進(jìn)行了創(chuàng)新，提出了三個關(guān)鍵特性：低頻時(shí)間分配（LTA）、對角線布局（DL）和可調(diào)時(shí)間間隔（ATS）。

2. VideoRoPE的三個核心特性

1. 低頻時(shí)間分配 (LTA): 為了避免時(shí)間維度上的高頻振蕩導(dǎo)致的“哈希碰撞”，VideoRoPE采用低頻旋轉(zhuǎn)角度來建模時(shí)間依賴性，從而增強(qiáng)模型對干擾項(xiàng)的魯棒性，并有效捕捉長距離時(shí)間依賴關(guān)系。
2. 對角線布局 (DL): VideoRoPE采用對角線布局來保持空間對稱性，確保空間索引的合理增長，避免視覺標(biāo)記過于靠近角落，并保持與原始RoPE編碼形式的一致性。
3. 可調(diào)時(shí)間間隔 (ATS): 通過引入縮放因子，VideoRoPE可以靈活調(diào)整時(shí)間索引，更好地對齊視覺和文本標(biāo)記之間的時(shí)間信息，從而有效控制時(shí)間間隔，提升模型的時(shí)空建模能力。

3. VideoRoPE的性能表現(xiàn)

研究團(tuán)隊(duì)通過一系列實(shí)驗(yàn)，在長視頻檢索、視頻理解和視頻幻覺等任務(wù)上評估了VideoRoPE的性能。結(jié)果表明，VideoRoPE在V-NIAH-D（帶干擾項(xiàng)的視覺大海撈針）等具有挑戰(zhàn)性的任務(wù)中，顯著優(yōu)于Vanilla RoPE、TAD-RoPE和M-RoPE等現(xiàn)有方法。尤其在長視頻理解任務(wù)（LongVideoBench、MLVU、Video-MME）和視頻幻覺任務(wù)（VideoHallucinator）中，VideoRoPE都展現(xiàn)出更強(qiáng)的魯棒性和更優(yōu)越的性能，體現(xiàn)了其在捕捉長距離時(shí)空依賴關(guān)系方面的優(yōu)勢。

4. VideoRoPE的四個關(guān)鍵標(biāo)準(zhǔn)

這項(xiàng)工作也總結(jié)了有效視頻位置編碼的四個關(guān)鍵標(biāo)準(zhǔn)：2D/3D結(jié)構(gòu)、頻率分配、空間對稱性和時(shí)間索引縮放。VideoRoPE通過合理的結(jié)構(gòu)設(shè)計(jì)和參數(shù)調(diào)整，滿足了這四個標(biāo)準(zhǔn)，從而實(shí)現(xiàn)了優(yōu)異的性能。

5. 結(jié)論

VideoRoPE通過巧妙的設(shè)計(jì)，有效地解決了將RoPE擴(kuò)展到視頻領(lǐng)域所面臨的挑戰(zhàn)，在長視頻理解和檢索任務(wù)中取得了顯著的成果。其提出的三個核心特性為未來視頻位置編碼的研究提供了新的思路和方向。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破