AIGC動態(tài)歡迎閱讀

原標題：OpenAI發(fā)布AGI安全風險框架！董事會可隨時叫停GPT-5等模型發(fā)布，奧特曼也得乖乖聽話
關鍵字：報告,模型,風險,團隊,框架
文章來源：夕小瑤科技說
內容字數：4618字

內容摘要：

夕小瑤科技說 原創(chuàng)作者 | 小戲、王二狗OpenAI 再次強調模型安全性！AGI 安全團隊 Preparedness 發(fā)布模型安全評估與監(jiān)控框架！
這兩天關注 AI 圈新聞的小伙伴們可能也有發(fā)現，近期的 OpenAI 可謂進行了一系列動作反復強調模型的“安全性”。
前有 OpenAI 安全系統(tǒng)（Safety Systems）負責人長文梳理針對 LLM 的對抗攻擊類型與防御方法，后有 Ilya Sutskever 領銜的“超級對齊”團隊（Superalignment）發(fā)布論文探索使用小模型監(jiān)督對齊大模型，這些工作無一例外都在開頭強調“伴隨著模型正在逼近 AGI……”
而就在今天，OpenAI 又官宣了一項安全性工作，由 OpenAI 負責 AGI 安全性的新團隊 Preparedness 推出了“Preparedness 框架”——一個負責對模型安全性進行評估與監(jiān)控的系統(tǒng)文件，詳細介紹了目前 OpenAI 針對模型安全評估監(jiān)控的工作思路：
Preparedness 框架提出的背景Preparedness 框架的提出主要基于 OpenAI 的兩個判斷：
（1）我們的系統(tǒng)正在逐漸逼近 AGI

原文鏈接：OpenAI發(fā)布AGI安全風險框架！董事會可隨時叫停GPT-5等模型發(fā)布，奧特曼也得乖乖聽話

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯(lián)網大廠，兼?zhèn)涿襟wsense與技術深度。