AI 首次在網絡安全方面被評為中等風險。
原標題:今天,OpenAI Deep Research已向所有付費用戶開放,系統卡發布
文章來源:機器之心
內容字數:6550字
OpenAI Deep Research:更強大、更安全的互聯網信息研究工具
OpenAI 近期正式向所有 ChatGPT Plus、Team、Edu 和 Enterprise 用戶推出 Deep Research,這款強大的智能體能夠利用推理能力綜合大量在線信息,完成多步驟研究任務,幫助用戶進行深入復雜的信息查詢與分析。此前,Deep Research 僅限于 Pro 用戶使用。
Deep Research 的核心能力
Deep Research 基于 OpenAI o3 正式版模型,而非 o3-mini。它能夠搜索、解讀和分析互聯網上的文本、圖像和 PDF,并根據信息進行調整。它還能讀取用戶提供的文件,并通過編寫和執行 Python 代碼來分析數據。其訓練數據包含一系列任務,從客觀自動評分任務到更開放的任務,并使用思維鏈模型進行評分。
嚴格的安全測試和風險緩解
在發布前,OpenAI 對 Deep Research 進行了嚴格的安全測試,包括外部紅隊測試、風險評估和治理審查。測試重點關注個人信息和隱私保護,以及模型對惡意指令的抵抗能力。OpenAI 還開發了新的評估方法,以更好地衡量 Deep Research 的能力和風險,并采取了相應的緩解措施。
風險識別、評估和緩解措施
外部紅隊測試重點關注個人信息和隱私、不允許的內容、危險建議等風險領域。紅隊成員嘗試通過各種對抗策略規避模型的安全措施,OpenAI 根據測試結果對模型進行改進。報告中詳細列出了每個風險的評估和緩解措施。
準備度框架評估
OpenAI 使用準備度框架對 Deep Research 進行了評估,該框架涵蓋網絡安全、CBRN、說服和模型自主性四個風險類別。Deep Research 在評估中被評為總體中等風險,其中網絡安全方面首次被評為中等風險。該評估涵蓋了模型的多個階段,包括緩解前和緩解后的版本。
性能評估和結果
Deep Research 在 SWE-Lancer Diamond 測試中表現出色,緩解后的模型在解決 IC SWE 和 SWE Manager 任務方面表現最佳。報告中提供了更詳細的評估結果和置信區間,并討論了評估方法的局限性。
總而言之,Deep Research 是一個功能強大且經過嚴格安全測試的互聯網信息研究工具。OpenAI 持續改進其安全性和性能,致力于為用戶提供更可靠、更有效的工具。
聯系作者
文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺