<strike id="2eegi"></strike>

搶先OpenAI“虛擬員工”！清華復(fù)旦斯坦福聯(lián)手，讓Agent接管電腦幫你工作

AIGC動(dòng)態(tài)8個(gè)月前發(fā)布量子位

366 0 0

“Operator”被截胡了

原標(biāo)題：搶先OpenAI“虛擬員工”！清華復(fù)旦斯坦福聯(lián)手，讓Agent接管電腦幫你工作
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：5958字

清華、復(fù)旦、斯坦福學(xué)者開(kāi)源Eko框架：搶先OpenAI“Operator”，打造生產(chǎn)級(jí)虛擬員工

近日，清華大學(xué)、復(fù)旦大學(xué)和斯坦福大學(xué)的研究者聯(lián)合發(fā)布了一個(gè)名為Eko的Agent開(kāi)發(fā)框架，其功能與OpenAI即將發(fā)布的“Operator”高度相似，甚至搶先一步開(kāi)源。Eko允許開(kāi)發(fā)者使用簡(jiǎn)潔的代碼和自然語(yǔ)言快速構(gòu)建可用于生產(chǎn)環(huán)境的“虛擬員工”Agent，能夠接管用戶的電腦和瀏覽器，自動(dòng)完成各種任務(wù)。

1. Eko框架的核心技術(shù)創(chuàng)新

Eko的成功主要基于以下三項(xiàng)核心技術(shù)創(chuàng)新：

混合智能體表示 (Mixed Agentic representation)：Eko無(wú)縫結(jié)合了自然語(yǔ)言（用于高層次設(shè)計(jì)）和程序語(yǔ)言（用于低層次實(shí)現(xiàn)），簡(jiǎn)化了Agent的開(kāi)發(fā)流程。
跨平臺(tái)Agent框架：Eko采用環(huán)境感知架構(gòu)，支持同一套框架和編程語(yǔ)言在瀏覽器、電腦和瀏覽器插件等多種環(huán)境下運(yùn)行。
生產(chǎn)級(jí)干預(yù)機(jī)制：不同于現(xiàn)有Agent框架普遍強(qiáng)調(diào)的自主性，Eko提供了顯性的生產(chǎn)級(jí)干預(yù)機(jī)制，允許人類隨時(shí)中斷和調(diào)整智能體的工作流，確保安全性和可控性。

2. Eko的跨平臺(tái)能力與環(huán)境感知架構(gòu)

Eko的跨平臺(tái)能力由其環(huán)境感知架構(gòu)實(shí)現(xiàn)，該架構(gòu)包含三個(gè)關(guān)鍵層次：

通用核心 (Universal Core)：提供與環(huán)境無(wú)關(guān)的基本功能，如工作流管理、工具注冊(cè)管理、大語(yǔ)言模型（LLM）集成和鉤子系統(tǒng)。
環(huán)境特定工具 (Environment-Specific Tools)：為不同環(huán)境（瀏覽器擴(kuò)展、Web環(huán)境、Node.js環(huán)境等）提供優(yōu)化的工具集。
環(huán)境橋接 (Environment Bridge)：負(fù)責(zé)環(huán)境檢測(cè)、工具注冊(cè)、資源管理和安全控制，確保不同平臺(tái)間的順利交互。

Eko通過(guò)自動(dòng)工具注冊(cè)功能（例如`loadTools()`），實(shí)現(xiàn)開(kāi)發(fā)者在不同環(huán)境間的無(wú)縫切換。

3. Eko的層次化規(guī)劃和優(yōu)化機(jī)制

Eko采用層次化感知框架，將任務(wù)拆解為規(guī)劃層（Planning layer）和執(zhí)行層（Execution layer）。規(guī)劃層將用戶需求（自然語(yǔ)言或代碼）和工具集拆解成領(lǐng)域特定語(yǔ)言（DSL）表示的任務(wù)圖，該任務(wù)圖由LLM一次性生成。執(zhí)行層則根據(jù)任務(wù)圖調(diào)用LLM生成具體的執(zhí)行行為和工具調(diào)用。Eko還具備多步合并優(yōu)化機(jī)制，可以將多次LLM調(diào)用合并成一次，提高效率。

4. Eko的視覺(jué)-交互要素聯(lián)合感知 (VIEP)

Eko的VIEP框架是一種新穎的瀏覽器感知解決方案，通過(guò)結(jié)合視覺(jué)識(shí)別和元素上下文信息，提高了在復(fù)雜網(wǎng)頁(yè)中任務(wù)的精度和效率。VIEP通過(guò)提取網(wǎng)頁(yè)交互元素并映射到DSL，生成高效的偽HTML代碼，簡(jiǎn)化了元素表示，并顯著降低了資源消耗。

5. Eko的生產(chǎn)級(jí)可干預(yù)機(jī)制與鉤子系統(tǒng)

Eko提供三種層級(jí)的鉤子（Workflow Hooks、Subtask Hooks、Tool Hooks），允許開(kāi)發(fā)者在工作流的不同階段進(jìn)行監(jiān)控、調(diào)整和干預(yù)，提高自動(dòng)化系統(tǒng)的精度和效率，并確保業(yè)務(wù)流程的順暢。

總而言之，Eko框架憑借其創(chuàng)新技術(shù)和開(kāi)源特性，為構(gòu)建生產(chǎn)級(jí)虛擬員工提供了強(qiáng)大的工具，并有望在自動(dòng)化領(lǐng)域產(chǎn)生重大影響。