Aria-UI

AI工具8個月前發(fā)布 AI工具集

657 0 0

Aria-UI – 港大聯(lián)合 Rhymes AI 開源面向 GUI 智能交互的多模態(tài)模型

Aria-UI是什么

Aria-UI是由香港大學(xué)與Rhymes AI聯(lián)合開發(fā)的一個大型多模態(tài)模型，旨在處理圖形用戶界面（GUI）中的定位任務(wù)。該模型采用純視覺的方法，不依賴于HTML或AXTree等輔助輸入，通過大規(guī)模的多樣化數(shù)據(jù)合成流程，從Common Crawl及公開數(shù)據(jù)中生成高質(zhì)量的元素描述和指令樣本，能夠靈活適應(yīng)不同環(huán)境下的指令表達(dá)。Aria-UI創(chuàng)新性地整合了動態(tài)動作歷史信息，利用文本或文本-圖像交錯格式增強(qiáng)模型在多步任務(wù)場景中的定位能力。經(jīng)過廣泛的基準(zhǔn)測試，包括離線和在線代理任務(wù)，Aria-UI展現(xiàn)出卓越的性能，顯現(xiàn)出強(qiáng)大的零樣本泛化能力和跨平臺適應(yīng)性，是解決通用GUI定位任務(wù)的理想選擇。

Aria-UI

Aria-UI的主要功能

GUI元素定位：能夠?qū)⒄Z言指令精確映射到GUI中的目標(biāo)元素，從而實(shí)現(xiàn)元素的準(zhǔn)確定位，為后續(xù)交互操作奠定基礎(chǔ)。
多模態(tài)輸入處理：支持處理包括GUI圖像、文本指令及動作歷史等多種輸入模態(tài)，充分理解和利用多模態(tài)數(shù)據(jù)中的豐富信息。
多樣化指令適應(yīng)：通過大規(guī)模、多樣化的數(shù)據(jù)合成流程生成的指令樣本，能夠有效適應(yīng)不同環(huán)境下的各種指令表達(dá)方式。
動態(tài)上下文理解：整合動態(tài)動作歷史信息，采用文本或文本-圖像交錯格式，在多步任務(wù)場景中理解當(dāng)前的動態(tài)上下文，為準(zhǔn)確的元素定位提供重要參考。
高分辨率圖像處理：支持高達(dá)3920×2940的圖像分辨率，能夠?qū)D像分割成小塊進(jìn)行處理，顯著擴(kuò)展可處理的圖像尺寸范圍。

Aria-UI的技術(shù)原理

純視覺方法：該模型通過純視覺方法，直接從GUI圖像中提取視覺特征，利用視覺信息進(jìn)行目標(biāo)元素的理解與定位。
多模態(tài)MoE模型：基于Aria多模態(tài)MoE（Mixture of Experts）模型構(gòu)建，具有3.9B的激活參數(shù)，特別擅長處理多模態(tài)數(shù)據(jù)。
數(shù)據(jù)合成與訓(xùn)練：采用兩階段的數(shù)據(jù)合成流程，從Common Crawl及公開數(shù)據(jù)中生成高質(zhì)量的元素描述與多樣化指令樣本，覆蓋Web、桌面和移動三大GUI環(huán)境，為模型訓(xùn)練提供豐富、多樣的訓(xùn)練數(shù)據(jù)，增強(qiáng)模型對不同指令和元素的識別能力。
上下文感知數(shù)據(jù)擴(kuò)展：利用公開的代理軌跡數(shù)據(jù)模擬具有上下文的定位任務(wù)，構(gòu)建文本動作歷史和文本-圖像交錯歷史兩種上下文設(shè)置，基于數(shù)據(jù)合成流程為軌跡數(shù)據(jù)中的所有定位步驟生成詳細(xì)的逐步指令，使模型在動態(tài)環(huán)境中更好地理解并執(zhí)行任務(wù)。
超分辨率支持：支持高達(dá)3920×2940的圖像分辨率，將圖像分割成小塊進(jìn)行處理，確保圖像細(xì)節(jié)和準(zhǔn)確性。