通用UI導航智能體的底座！蘋果手機端UI多模態大模型Ferret-UI 2解讀

詳細解讀Ferret-UI 2模型

原標題：通用UI導航智能體的底座！蘋果手機端UI多模態大模型Ferret-UI 2解讀
文章來源：智猩猩GenAI
內容字數：11146字

蘋果Ferret-UI 2：跨平臺UI理解多模態大模型詳解

本文詳細解讀蘋果最新發布的Ferret-UI 2模型，該模型顯著提升了跨平臺用戶界面(UI)的理解和交互能力。Ferret-UI 2在Ferret-UI的基礎上進行了三大關鍵改進，使其能夠更好地應對多平臺環境下的復雜UI交互。

1. Ferret-UI 2 的核心改進

Ferret-UI 2 的核心改進體現在以下三個方面：

1. 支持更多平臺： 擴展支持手機、平板、網頁和智能電視等多種平臺，突破了Ferret-UI僅限于移動設備的限制。

2. 動態高分辨率圖像編碼： 采用自適應網格化方法，能夠處理不同分辨率的圖像，提升了視覺元素識別的精度，并有效控制推理成本。

3. 高質量多模態訓練數據生成： 利用GPT-4o生成包含視覺提示的高級任務訓練數據，顯著改善了對UI空間關系的理解。通過人工標注、HTML解析和OCR技術，構建了高質量的多平臺數據集，并利用損失權重和數據增強技術解決了數據不平衡問題。

2. 數據集構建與模型架構

Ferret-UI 2 的數據集構建過程復雜，針對不同平臺（iPhone、iPad、AppleTV、網頁、Android）采用不同的標注策略，并最終將標簽映射到13個公共類別。為了解決數據不平衡問題，采用了調整損失權重和為數據量少的平臺生成更多高級任務的策略。數據生成分為基礎任務（指代和交互任務）和高級任務（由GPT-4o生成，包含綜合描述、多輪感知問答和多輪交互問答）。為了提升GPT-4o對UI控件空間關系的理解，引入了Set-of-Mark(SoM)視覺提示。

模型架構方面，Ferret-UI 2 基于Ferret-UI，采用Any-Resolution(AnyRes)方法，并結合CLIP圖像編碼器和LLM視覺采樣器，最終輸出UI元素的感知或交互的定位描述。自適應網格化是其關鍵創新，能夠在預定義的推理成本限制內，實現最小分辨率失真，高效地進行局部圖像特征編碼。

3. 實驗結果與分析

實驗結果表明，Ferret-UI 2 在多個基準測試（包括自行構建的測試集和GUIDE、GUI-World基準測試）上均顯著優于Ferret-UI。搭載Llama-3-8B的Ferret-UI 2 表現最佳，在高級任務上取得了最高的GPT-4o評分和IoU分數。消融實驗結果表明，數據集改進對性能提升起到了更關鍵的作用。Ferret-UI 2 還展現出強大的跨平臺遷移能力，尤其是在iPhone、iPad和Android平臺之間。

4. 總結與未來展望

Ferret-UI 2 作為一種創新的多模態大型語言模型，顯著提升了跨平臺UI理解和交互能力。其多平臺支持、高分辨率圖像編碼和改進的數據生成方法，為通用UI理解奠定了堅實的基礎。未來研究方向包括整合更多平臺類型以及構建通用UI導航智能體。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，深入關注大模型與AI智能體，及時搜羅生成式AI技術產品。