研究團隊針對剪枝多模態大模型以實現高效計算的挑戰進行了研究。

原標題：12%計算量就能媲美原模型，Adobe、羅切斯特大學等提出YOPO剪枝技術
文章來源：機器之心
內容字數：5574字

研究背景

近年來，多模態大模型的能力隨著模型規模和輸入圖像分辨率的增加而顯著提升。然而，隨之而來的計算開銷也大幅增加，限制了其在實際應用中的可擴展性。近年來的研究表明，視覺 token 的數量通常顯著多于文本 token，這種不平衡造成了計算成本的急劇上升。為了解決這一問題，研究團隊提出了一系列剪枝方案，以減少模型的計算冗余。

YOPO剪枝方案

本研究的核心是提出了一種名為 YOPO（You Only Prune Once）的剪枝方案，旨在在不增加額外計算量的前提下，有效減少多模態大模型的計算冗余。實驗結果顯示，LLaVA-1.5 模型在保留僅12%計算量的情況下，仍能達到與原始模型相同的性能。

主要方法

研究團隊提出了以下幾種剪枝策略：

1. 鄰域感知視覺注意力：通過選擇性消除視覺 token 之間不必要的注意力計算，減少計算復雜度。
2. 非活躍注意力頭剪枝：發現大約一半的注意力頭未被激活，提出對其進行剪枝以消除冗余計算。
3. 選擇性層丟棄：通過分析不同層的注意力權重，跳過后面的層中與視覺相關的計算。
4. FFN中的稀疏視覺投影：在每個 transformer 模塊內隨機丟棄一定比例的神經元，以有效利用視覺表示的稀疏性。

實驗結果

在多個基準測試上，提出的方法均取得了最佳結果，相比于其他剪枝方法，性能下降幅度更小。尤其是在大規模基準測試 VQAv2 和 GQA 上，采用 YOPO 方法的模型在減少計算量的同時，依然保持了良好的性能。

總結與展望

本研究通過分析多模態大模型中的冗余性，提出了一系列高效的剪枝策略，顯著降低了計算開銷，提升了模型的應用潛力。未來，研究團隊將繼續探索其他模型中的冗余，并進一步優化剪枝技術，以實現更高效的多模態學習。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺