Gemini 2.5 Computer Use – 谷歌推出的計算機使用模型

谷歌 DeepMind 繼 Gemini 2.5 之后，又推出了革新性的 Gemini 2.5 Computer Use 模型，它賦予了人工智能前所未有的能力——直接操控瀏覽器。這項突破性技術允許 AI 像人類一樣，精準執行點擊、滑動、文字輸入等一系列交互動作，將用戶與數字世界的互動推向了一個全新的維度。

Gemini 2.5 Computer Use 揭秘

Gemini 2.5 Computer Use 是谷歌 DeepMind 團隊打造的一款基于 Gemini 2.5 強大能力的計算機使用模型。它能夠讓 AI 躍過傳統的接口限制，直接與瀏覽器進行互動，完成諸如點擊鏈接、滾動頁面、填寫表單等精細操作。憑借其卓越的視覺理解和推理能力，該模型能夠深刻洞察網頁內容，從而協助用戶高效完成各類任務，例如從海量網頁中精準提取所需信息，或是井井有條地整理個人筆記。在各項基準測試中，Gemini 2.5 Computer Use 都展現出了令人矚目的優異表現，并且響應速度極快。開發者可以通過 Google AI Studio 和 Vertex AI 平臺便捷地集成和使用此模型，而普通用戶則可以在 Browserbase 提供的托管演示環境中親身體驗其神奇之處。

Gemini 2.5 Computer Use 的核心能力

• 精妙的瀏覽器操控：模型能夠直接在瀏覽器界面上執行點擊、滾動、輸入等基礎操作，為用戶在網絡世界中的各類任務提供強大的自動化支持。
• 多步驟任務的自動化執行：它能夠勝任處理一系列復雜、多步驟的任務，例如，從一個網站抓取數據并無縫地將其錄入另一個系統，或是智能化地安排后續的預約事宜。
• 強大的視覺洞察與智能推理：通過對網頁視覺元素的深度解析，模型能夠識別頁面上的各種組件，并根據用戶的指令進行智能推理，預測并執行下一步的最佳操作。
• 嚴謹的安全保障機制：在執行每一項動作之前，的安保服務都會對潛在風險進行周全的評估。對于高風險的操作，模型會主動請求用戶確認，從而確保整個過程的安全無虞。

Gemini 2.5 Computer Use 的技術基石

• 核心驅動力：該模型通過 Gemini API 中新增的 computer_use 工具實現，該工具賦予了模型直接與用戶界面進行交互的能力。
• 信息輸入與輸出流：
  • 輸入信息：包括用戶的具體指令、當前屏幕畫面的截圖，以及之前執行過的操作記錄。用戶還可以選擇性地排除某些 UI 動作，或者集成自定義的函數功能。
  • 輸出信息：模型會生成相應的響應，通常表現為代表 UI 操作的函數調用，例如點擊、輸入或滾動等。對于一些高風險的操作，模型會主動向用戶發起確認請求。
• 持續循環的執行流程：模型在一個動態的循環流程中運行。在每次執行完一個動作后，系統會將最新的屏幕截圖和當前網頁地址反饋給模型，從而重新啟動新的循環。這個循環會一直持續下去，直到任務成功完成、出現意外錯誤，或者因為安全機制的介入或用戶的決定而終止。
• 完善的安全防護體系：在模型的推理階段，一個的安保服務會對模型擬執行的每一個動作進行嚴格的審查，以確保操作的安全性。開發者可以設定在面對特定高風險操作時，智能體必須拒絕執行，或者必須先征得用戶的同意。例如，這項機制可以有效阻止模型繞過驗證碼，或是不當地操控醫療設備等。

Gemini 2.5 Computer Use 的探索入口

• 官方資訊頁面：https://blog.google/technology/google-deepmind/gemini-computer-use-model/
• 深度技術解析：https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-2-5-Computer-Use-Model-Card.pdf

Gemini 2.5 Computer Use 的廣闊應用前景

• 高效的 UI 測試助手：為開發者提供強大的支持，能夠快速自動化地測試用戶界面，執行各種交互操作，從而極大地提升軟件開發的效率。
• 個性化的智能助理：為用戶提供量身定制的任務自動化服務，例如自動填寫各類表單、智能安排會議預約，或是高效地整理和歸類個人信息。
• 流程優化的工作流自動化：有效簡化重復性、耗時的工作，如繁瑣的數據錄入、信息搜集，以及跨平臺的復雜操作，顯著提高工作生產力。
• 卓越的客戶服務解決方案：能夠自動處理客戶的各種請求，例如在客戶支持系統中自動創建和填寫工單，或是快速查詢相關信息，從而大幅縮短響應時間。
• 革新的教育與培訓工具：為在線學習平臺提供有力支持，協助學生完成各類練習或模擬操作，顯著增強學習的互動性和實踐性。