OpenAI發布AGI安全風險框架！董事會可隨時叫停GPT-5等模型發布，奧特曼也得乖乖聽話

AIGC動態歡迎閱讀

原標題：OpenAI發布AGI安全風險框架！董事會可隨時叫停GPT-5等模型發布，奧特曼也得乖乖聽話
關鍵字：報告,模型,風險,團隊,框架
文章來源：夕小瑤科技說
內容字數：4618字

內容摘要：

夕小瑤科技說 原創作者 | 小戲、王二狗OpenAI 再次強調模型安全性！AGI 安全團隊 Preparedness 發布模型安全評估與監控框架！
這兩天關注 AI 圈新聞的小伙伴們可能也有發現，近期的 OpenAI 可謂進行了一系列動作反復強調模型的“安全性”。
前有 OpenAI 安全系統（Safety Systems）負責人長文梳理針對 LLM 的對抗攻擊類型與防御方法，后有 Ilya Sutskever 領銜的“超級對齊”團隊（Superalignment）發布論文探索使用小模型監督對齊大模型，這些工作無一例外都在開頭強調“伴隨著模型正在逼近 AGI……”
而就在今天，OpenAI 又官宣了一項安全性工作，由 OpenAI 負責 AGI 安全性的新團隊 Preparedness 推出了“Preparedness 框架”——一個負責對模型安全性進行評估與監控的系統文件，詳細介紹了目前 OpenAI 針對模型安全評估監控的工作思路：
Preparedness 框架提出的背景Preparedness 框架的提出主要基于 OpenAI 的兩個判斷：
（1）我們的系統正在逐漸逼近 AGI

原文鏈接：OpenAI發布AGI安全風險框架！董事會可隨時叫停GPT-5等模型發布，奧特曼也得乖乖聽話

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI應用開發者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯網大廠，兼備媒體sense與技術深度。