產(chǎn)品名稱:Project Mariner
產(chǎn)品簡介:Project Mariner 是谷歌 DeepMind 推出的瀏覽器助手。Project Mariner基于 Gemini 2.0 技術(shù),用 Chrome 擴展程序?qū)崿F(xiàn)瀏覽器自動化,理解和執(zhí)行網(wǎng)頁任務(wù)。Project Mariner能理解和推理瀏覽器屏幕上的信息,包括像素和網(wǎng)頁元素,基于 Chrome 擴展程序使用這些信息完成任務(wù)。Project Mariner 能控制 Chrome 瀏覽器、移動屏幕上的光標(biāo)、點擊按鈕和填寫表格,像人類一樣使用和瀏覽網(wǎng)站。
詳細介紹:
Project Mariner是什么
Project Mariner 是谷歌 DeepMind 推出的瀏覽器助手。Project Mariner基于 Gemini 2.0 技術(shù),用 Chrome 擴展程序?qū)崿F(xiàn)瀏覽器自動化,理解和執(zhí)行網(wǎng)頁任務(wù)。Project Mariner能理解和推理瀏覽器屏幕上的信息,包括像素和網(wǎng)頁元素,基于 Chrome 擴展程序使用這些信息完成任務(wù)。Project Mariner 能控制 Chrome 瀏覽器、移動屏幕上的光標(biāo)、點擊按鈕和填寫表格,像人類一樣使用和瀏覽網(wǎng)站。Project Mariner在 WebVoyager 基準(zhǔn)測試中達到 83.5% 的高分成績。目前,Project Mariner 只能在瀏覽器的活動選項卡中執(zhí)行鍵入、滾動和點擊操作,在執(zhí)行某些敏感操作(如購買物品)之前,會要求用戶進行最終確認。
Project Mariner的主要功能
- 多模態(tài)理解:理解瀏覽器屏幕上的所有內(nèi)容,包括像素、文本、代碼、圖像和表單等數(shù)據(jù)。
- 瀏覽器交互:實時導(dǎo)航和操作復(fù)雜的網(wǎng)站,自動執(zhí)行瀏覽器中的任務(wù),保持用戶的控制權(quán)。
- 自動化任務(wù):自動與瀏覽器進行交互操作,將數(shù)據(jù)整理、填充到網(wǎng)頁其他區(qū)域,同時將數(shù)據(jù)按照用戶的要求整理好。
- 復(fù)雜指令處理:理解、執(zhí)行復(fù)雜的用戶指令,分解為可執(zhí)行的步驟。
- 關(guān)系理解:理解不同網(wǎng)頁元素之間的關(guān)系及其功能。
- 視覺反饋:在執(zhí)行任務(wù)時提供視覺反饋和更新,讓用戶了解進度。
- 安全性:在執(zhí)行敏感操作(如購物和付款)之前,會要求用戶進行最終確認,確保安全性。
如何使用Project Mariner
Project Mariner目前處于早期測試階段,僅對少數(shù)測試者開放,訪問Project Mariner的官方網(wǎng)站,加入等候名單。
Project Mariner的應(yīng)用場景
- 數(shù)據(jù)整理與復(fù)制:將網(wǎng)頁上的數(shù)據(jù)復(fù)制到電子表格中進行整理,例如從存儲大量數(shù)據(jù)的網(wǎng)頁提取信息,整理到Excel等表格軟件中。
- 在線購物:根據(jù)用戶給出的購物清單,自動在電子商務(wù)網(wǎng)站上搜索商品添加到購物車。
- 旅行規(guī)劃:幫助用戶查找航班和酒店信息,自動化旅行規(guī)劃過程中的網(wǎng)頁瀏覽和信息比較。
- 日常購物:為用戶在零售網(wǎng)站上購物,如搜索、購買家庭用品。
- 食譜查找:在食譜網(wǎng)站上根據(jù)用戶需求自動搜索和選擇食譜。