BrowseComp – OpenAI 開源的 AI 代理網絡瀏覽能力基準

BrowseComp 是一個由 OpenAI 開源的基準測試，旨在評估 AI 代理在網絡瀏覽方面的能力。它包含1266個極具挑戰性的問題，涵蓋了電影、科學與技術、藝術、歷史、體育、音樂和電子游戲等多個領域。通過這些問題，AI 代理需要在互聯網上進行復雜的信息檢索，尋找特定答案并滿足多重約束條件。測試結果顯示，OpenAI 的 GPT-4o 和 GPT-4.5 的準確率相對較低，而最新的 Deep Research 模型則表現出色，準確率達到51.5%，展現了其在自主搜索、信息整合和準確性校準方面的優勢。

BrowseComp是什么

BrowseComp 是 OpenAI 推出的開源基準測試，專注于評估 AI 代理在網絡瀏覽中的表現。該測試包含1266個難度極高的問題，涉及電影、科學與技術、藝術、歷史、體育、音樂和電子游戲等多個領域。這些問題要求 AI 代理在互聯網上進行深入搜索，并匹配復雜的約束條件，例如查找特定的足球比賽或電視劇角色等。測試表明，OpenAI 的 GPT-4o 和 GPT-4.5 模型的表現不佳，而 Deep Research 模型的表現則顯著優越，準確率高達51.5%。

主要功能

• 復雜信息檢索能力評估：BrowseComp 提供1266個具有挑戰性的問題，覆蓋多個領域，要求 AI 代理在廣闊的互聯網中進行深入的搜索。
• 嚴格的問題設計：數據師通過三個主要檢查點確保問題的高難度，包括驗證現有模型的無效性、保證答案不會出現在搜索結果的第一頁、以及確保問題難度足夠高。
• 答案驗證的可靠性：盡管問題具有挑戰性，答案還是簡短明了，易于通過參進行驗證，確保基準測試的公平性。
• 推動 AI 瀏覽代理技術發展：BrowseComp 的開源特性為 AI 瀏覽代理的研究提供了新方向，促進更智能、更可靠的瀏覽代理的發展。

技術原理

• 復雜問題設計：BrowseComp 的問題要求 AI 代理進行多步推理和跨多個網站的信息檢索，模擬現實中的復雜信息獲取場景。
• 多源信息整合：AI 代理需訪問多個網站，整合不同來源的信息來找到答案，例如訪問體育賽事記錄、裁判信息等多個網站以獲得正確答案。
• 推理與搜索策略：AI 代理不僅需要基本的信息檢索能力，還需具備強大的推理能力，能夠對收集到的信息進行邏輯分析和綜合處理。
• 動態適應性：AI 代理需要在搜索過程中快速反應，并根據獲得的信息調整搜索策略，提高目標信息的檢索效率。
• 計算資源的影響：測試結果表明，增加計算資源能顯著提升 AI 代理在復雜網絡瀏覽任務中的表現，提高找到正確答案的概率。

模型性能

• GPT-4o 和 GPT-4.5：這兩個模型在 BrowseComp 中的表現較差，準確率分別為0.6%和0.9%。即使為 GPT-4o 啟用瀏覽功能后，準確率也僅提升至1.9%，顯示出僅賦予模型瀏覽能力并不能有效解決復雜問題。
• OpenAI o1 模型：該模型不具備瀏覽能力，但憑借強大的推理能力，準確率達到9.9%，說明在網絡瀏覽任務中，推理能力同樣至關重要。
• Deep Research 模型：作為 OpenAI 最新發布的代理模型，Deep Research 在 BrowseComp 測試中表現最佳，準確率高達51.5%。該模型能夠高效利用瀏覽工具，對收集到的信息進行深入分析和綜合處理，且具備高度的適應性。

項目地址

• 項目官網：https://openai.com/index/browsecomp/
• Github倉庫：https://github.com/openai/simple-evals
• 技術論文：https://cdn.openai.com/pdf/5e10f4ab-d6f7-442e-9508-59515c65e35d/browsecomp.pdf

應用場景

• 企業知識庫智能檢索：可用于企業知識庫的智能檢索，幫助研發人員更高效地查詢信息。
• 電商產品導購：在電商領域，BrowseComp 可用于構建智能導購系統，幫助用戶快速找到滿足復雜需求的產品。
• 信息公開服務：機構可以利用 BrowseComp 提供高效的信息公開服務，幫助公眾迅速獲取政策和法規等信息。
• 研究與開發：研究人員可以使用 BrowseComp 測試和改進 AI 模型的推理與搜索策略，推動信息檢索領域的技術發展。