谷歌發布Gemini2.0，開啟Agent新時代

大數據文摘受權轉載自AI科技評論整理丨允毅編輯丨馬曉寧Open AI連續幾天上新，谷歌也不甘示弱。今天谷歌深夜炸群，重磅發布了锏——Gemini2.0，聲稱“Gemini2.0 是我們迄今為止最新、功能最強大的 AI 模型?！逼渥畲蟮牧咙c是Gemini2.0 是第一家實現原生多模態輸入輸出的模型。基于強大的新模型，谷歌又推出了三個AI agent產品，通用大模型助手Project Astra、瀏覽器助手Project Mariner、編程助手Jules，這一套“組合拳”下來，標志著谷歌AI已經初步做到了向“Agent”時代的轉變。谷歌DeepMind的CEO德米斯·哈薩比斯（Demis Hassabis）對此表示非常滿意，因為Gemini 2.0 實際上達到了目前 Gemini 1.5 Pro 的水平。這意味著在保持相同成本效率、性能效率和速度的情況下，整體性能要整整提升一個檔次。01Gemini2.0，第一個實現原生多模態輸入輸出的模型在Gemini2.0發布前，谷歌發布的一款名為Gemini-exp-1206的模型已經火爆全網。該模型能夠處理 200 萬個標記（相當于一個多小時的視頻），擅長處理大型復雜數據集。因為高超的性能，它在 Livebench 上排名第二，超過了Claude 3.5 Sonnet，直逼Open o1-preview。許多人猜測這可能就是Gemini2.0。當Gemini2.0的實力真正揭開帷幕，比想象中還令人震撼。首先性能上全面升級。在速度方面，2.0 的速度是 1.5 Pro 的兩倍，這一速度提升意味著用戶將享受到更高效的處理能力和更快的響應時間。在性能方面，Gemini2.0可以支持圖片、視頻和音頻等多模態輸入與輸出。可以直接生成圖像與文本混合的內容，以及原生生成可控的多語言文本轉語音(TTS)音頻。它還可以原生調用Google Search、代碼執行以及第三方用戶定義的函數等工具?；贕emini2.0架構之上，谷歌推出了三個新的AI智能體原型：通用大模型助手Project Astra、瀏覽器助手Project Mariner、編程助手Jules。02谷歌送上Agent大禮包Agent是指無需人工干預或監督即可自主執行任務的人工智能技術。它們允許用戶將任務委托給人工智能，從而大大優化人類的工作流程，組建一支隨時待命的助手團隊，幾乎無需監督。谷歌在2024年的末尾，送上了Agent大禮包。Project Astra：通用大模型助手Project Astra是谷歌最初在5月的I/O大會上首次對外發布的AI助手，對標OpenAI的GPT-4o，其主要功能包括實時語音和視覺處理，能夠通過手機或谷歌眼鏡進行跨文本、音頻、視頻的多模態實時推理。Astra產品經理Bibo Xu認為Project Astra在整合一些當今最強大的信息檢索系統。此次，Project Astra全面升級了四個性能：更好的對話，能調用新工具，更強的記憶，更低的延遲。更好的對話：Project Astra具備多語言對話能力，能夠更好理解不同口音和不常見詞匯。調用新工具：借助 Gemini 2.0，Project Astra 可以使用 Google 搜索、鏡頭和地圖，使其作為您日常生活中的助手更加有用。更強的記憶：Project Astra擁有長達 10 分鐘的會話記憶，能記住更多用戶與其過去的對話，從而提供個性化的服務。更低的延遲：通過對新的流媒體功能和本機音頻理解，Project Astra 可以以與人類正常對話的速度來作出反饋。Google 和 Alphabet 首席執行官桑達爾·皮查伊（Sundar Pichai）對這一產品尤為自豪，稱它為“展示了通用AI助手的曙光”。而谷歌方面正打算將這些功能引入 Google 產品，如Gemini應用、 AI 助手，眼鏡等。Project Mariner：瀏覽器助手Project Mariner是一個使用 Gemini 2.0 構建的早期研究原型，旨在從瀏覽器開始探索人機交互的未來。作為研究原型，它能夠理解和推理瀏覽器屏幕上的信息，包括像素和文本、代碼、圖像和表單等網絡元素，然后通過實驗性的 Chrome 擴展程序使用這些信息完成任務。簡而言之，就是用AI來幫助人類操作電腦，通過控制用戶的Chrome 瀏覽器、移動屏幕上的光標、點擊按鈕和填寫表格，Project Mariner 可以登錄雜貨店網站購物，還可以查找航班和酒店、購買家居用品、查找食譜等。根據WebVoyager 基準進行評估，該基準測試代理在端到端真實世界網絡任務上的性能，Project Mariner作為單一代理設置實現了 83.5% 的最佳工作結果。不過從安全性考慮，這一切都在用戶監督允許的范圍內，許多敏感操作會要求用戶進行最終確認。某谷歌高管稱Project Mariner是“全新用戶體驗范式轉變”的一部分。Jules：編程助手Jules簡而言之，就是AI幫你寫代碼。它直接集成到 GitHub 工作流程中，查看用戶已有的代碼，并直接在 GitHub 中進行更改，解決開發者頭疼的改bug環節，而這一切也都在用戶的監督之下，保證安全的同時節省時間，方便用戶專注于做自己實際想構建的內容。Gemini2.0的全面還包括在游戲、學術研究、機器人領域做的嘗試。谷歌正在與Supercell等游戲開發商合作，探索智能體在游戲中的應用。谷歌推出的AI游戲助手可以理解游戲規則和進程，能夠通過用戶游戲屏幕上的動作來給出下一步操作建議。谷歌展示了從《部落沖突》等策略游戲到《Hay Day》等農場模擬器游戲中，AI如何通過對話的形式為玩家提供建議。谷歌推出的Deep Research，如同學術研究助手，通過高級推理和長上下文能力，可以直接出論文。谷歌還想將 Gemini 2.0 的空間推理能力應用于機器人身上，幫助機器人更加智能化。Gemini2.0在音頻和圖像生成方面展現了強大實力，系統可以生成和修改圖像，處理照片和視頻，回答相關問題，用不同口音和語言的聲音朗讀文本。為了防止濫用，谷歌使用SynthID技術對所有生成的音頻和圖像進行水印標記。谷歌還推出了多模態實時API，幫助開發者構建具有實時音頻和視頻流功能的應用程序。這個API支持來自攝像頭或屏幕的音頻和視頻輸入，能夠處理自然對話模式。Gemini2.0的強大基于谷歌定制的硬件第六代TPUTrillium構建而成。Trillium與前代產品相比全面升級，如訓練性能提高超過 4 倍，推理吞吐量提高3 倍，每個芯片的峰值計算性能提高了 4.7 倍，效提高67%，每顆芯片峰值計算性能提高4.7倍，HBM容量翻倍，單個Jupiter網絡有10萬顆TPU，高至2.5倍的每美元訓練性能，1.4倍的每美元推理性能。目前人們可以通過PC端優先體驗2.0Flash 實驗版，而Gemini2，0移動版將很快呈現。明年1月谷歌會推出Gemini 2.0 Flash 多模式版本，屆時還將推出更多 Gemini 2.0 模型尺寸。而作為提供給開發者的體驗版模型，Gemini 2.0 Flash 現在可以通過Google AI Studio和Vertex AI中的Gemini API獲取，所有開發者均可使用多模態輸入和文本輸出。03谷歌開啟Agent時代谷歌正在瘋狂將AI融入它所擁有的所有產品中。Google 和 Alphabet 首席執行官 桑達·皮采（Sundar Pichai）對這款產品寄予厚望，他說如果 Gemini 1.0 是關于組織和理解信息的，那么 Gemini 2.0 就是為了讓信息更加有用。其中重要的區別就是“Agent”，這是人工智能時代下一個大方向。在桑達爾·皮查伊（Sundar Pichai）描述中，“Agent可以更好地了解你周圍的世界，提前思考多個步驟，并在你的監督下代表你采取行動”。谷歌這次秀肌肉，完整呈現了系統級 Copilot 和智能體應用，展現了Agent可以為人們生活帶來的全方位改變。谷歌表示他們的AI Overviews已服務超過10億用戶，幫助用戶提問全新的問題類型，成為谷歌搜索引擎最受歡迎的功能之一。他們準備把Gemini 2.0的先進推理能力引入AI Overviews，處理更復雜的主題和多步驟問題，包括高級數學公式、多模態查詢和編程，探索更多功能引入產品本身。谷歌的愿景是在2025年開啟真正的“AI智能體時代”。據彭博社報道，OpenAI 正準備發布一款能夠控制計算機并執行任務的自主 AI 代理，代號為“Operator”，計劃于 1 月份將其作為研究預覽版和開發工具首次亮相。2025年是Agent時代的真正開始，到時又會有怎樣的廝殺呢，我們拭目以待。租售GPU算力租：4090/A800/H800/H100售：現貨H100/H800特別適合企業級應用掃碼了解詳情?點「在看」的人都變好看了哦！