搶先OpenAI“虛擬員工”！清華復(fù)旦斯坦福聯(lián)手，讓Agent接管電腦幫你工作

“Operator”被截胡了

原標(biāo)題：搶先OpenAI“虛擬員工”！清華復(fù)旦斯坦福聯(lián)手，讓Agent接管電腦幫你工作
文章來源：量子位
內(nèi)容字?jǐn)?shù)：5958字

清華、復(fù)旦、斯坦福學(xué)者開源Eko框架：搶先OpenAI“Operator”，打造生產(chǎn)級(jí)虛擬員工

近日，清華大學(xué)、復(fù)旦大學(xué)和斯坦福大學(xué)的研究者聯(lián)合發(fā)布了一個(gè)名為Eko的Agent開發(fā)框架，其功能與OpenAI即將發(fā)布的“Operator”高度相似，甚至搶先一步開源。Eko允許開發(fā)者使用簡潔的代碼和自然語言快速構(gòu)建可用于生產(chǎn)環(huán)境的“虛擬員工”Agent，能夠接管用戶的電腦和瀏覽器，自動(dòng)完成各種任務(wù)。

1. Eko框架的核心技術(shù)創(chuàng)新

Eko的成功主要基于以下三項(xiàng)核心技術(shù)創(chuàng)新：

1. 混合智能體表示 (Mixed Agentic representation)：Eko無縫結(jié)合了自然語言（用于高層次設(shè)計(jì)）和程序語言（用于低層次實(shí)現(xiàn)），簡化了Agent的開發(fā)流程。

2. 跨平臺(tái)Agent框架：Eko采用環(huán)境感知架構(gòu)，支持同一套框架和編程語言在瀏覽器、電腦和瀏覽器插件等多種環(huán)境下運(yùn)行。

3. 生產(chǎn)級(jí)干預(yù)機(jī)制：不同于現(xiàn)有Agent框架普遍強(qiáng)調(diào)的自主性，Eko提供了顯性的生產(chǎn)級(jí)干預(yù)機(jī)制，允許人類隨時(shí)中斷和調(diào)整智能體的工作流，確保安全性和可控性。

2. Eko的跨平臺(tái)能力與環(huán)境感知架構(gòu)

Eko的跨平臺(tái)能力由其環(huán)境感知架構(gòu)實(shí)現(xiàn)，該架構(gòu)包含三個(gè)關(guān)鍵層次：

1. 通用核心 (Universal Core)：提供與環(huán)境無關(guān)的基本功能，如工作流管理、工具注冊(cè)管理、大語言模型（LLM）集成和鉤子系統(tǒng)。

2. 環(huán)境特定工具 (Environment-Specific Tools)：為不同環(huán)境（瀏覽器擴(kuò)展、Web環(huán)境、Node.js環(huán)境等）提供優(yōu)化的工具集。

3. 環(huán)境橋接 (Environment Bridge)：負(fù)責(zé)環(huán)境檢測(cè)、工具注冊(cè)、資源管理和安全控制，確保不同平臺(tái)間的順利交互。

Eko通過自動(dòng)工具注冊(cè)功能（例如`loadTools()`），實(shí)現(xiàn)開發(fā)者在不同環(huán)境間的無縫切換。

3. Eko的層次化規(guī)劃和優(yōu)化機(jī)制

Eko采用層次化感知框架，將任務(wù)拆解為規(guī)劃層（Planning layer）和執(zhí)行層（Execution layer）。規(guī)劃層將用戶需求（自然語言或代碼）和工具集拆解成領(lǐng)域特定語言（DSL）表示的任務(wù)圖，該任務(wù)圖由LLM一次性生成。執(zhí)行層則根據(jù)任務(wù)圖調(diào)用LLM生成具體的執(zhí)行行為和工具調(diào)用。Eko還具備多步合并優(yōu)化機(jī)制，可以將多次LLM調(diào)用合并成一次，提高效率。

4. Eko的視覺-交互要素聯(lián)合感知 (VIEP)

Eko的VIEP框架是一種新穎的瀏覽器感知解決方案，通過結(jié)合視覺識(shí)別和元素上下文信息，提高了在復(fù)雜網(wǎng)頁中任務(wù)的精度和效率。VIEP通過提取網(wǎng)頁交互元素并映射到DSL，生成高效的偽HTML代碼，簡化了元素表示，并顯著降低了資源消耗。

5. Eko的生產(chǎn)級(jí)可干預(yù)機(jī)制與鉤子系統(tǒng)

Eko提供三種層級(jí)的鉤子（Workflow Hooks、Subtask Hooks、Tool Hooks），允許開發(fā)者在工作流的不同階段進(jìn)行監(jiān)控、調(diào)整和干預(yù)，提高自動(dòng)化系統(tǒng)的精度和效率，并確保業(yè)務(wù)流程的順暢。

總而言之，Eko框架憑借其創(chuàng)新技術(shù)和開源特性，為構(gòu)建生產(chǎn)級(jí)虛擬員工提供了強(qiáng)大的工具，并有望在自動(dòng)化領(lǐng)域產(chǎn)生重大影響。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破