Anthropic安全負責人：在超級AI「毀滅」人類之前，我們可以做這些準備

AIGC動態(tài)歡迎閱讀

原標題：Anthropic安全負責人：在超級AI「毀滅」人類之前，我們可以做這些準備
關(guān)鍵字：風險,人工智能,模型,系統(tǒng),階段
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
機器之心編輯部2023 年，Anthropic 發(fā)布了負責任擴展策略（Responsible Scaling Policy，RSP），這是一系列技術(shù)和組織協(xié)議，Anthropic 將采用這些協(xié)議來幫助他們管理開發(fā)功能日益強大的 AI 系統(tǒng)。Anthropic 認為，AI 模型一方面變得越來越強大，創(chuàng)造巨大的經(jīng)濟和社會價值，另一方面也帶來了嚴重的風險。RSP 將專注于災(zāi)難性風險 —— 即人工智能模型直接造成大規(guī)模破壞的風險。此類風險可能來自故意濫用模型（例如用它來制造生物武器），也可能來自模型以違背其設(shè)計者意圖的方式自主行動而造成破壞。
RSP 還定義了一個稱為 AI 安全等級 (ASL，AI Safety Levels) 的框架，ASL 等級越高，其安全性證明就越嚴格。ASL-1 指的是不構(gòu)成重大災(zāi)難風險的系統(tǒng)，例如 2018 年的 LLM 或只會下棋的 AI 系統(tǒng)。
ASL-2 指的是顯示出危險能力早期跡象的系統(tǒng)（例如能夠給出如何制造生物武器的指令），但這些信息由于可靠性不足或無法超越搜索引擎能提供的信息而沒有太多用處。包括 Claude 在內(nèi)的當前 LLM 似

原文鏈接：Anthropic安全負責人：在超級AI「毀滅」人類之前，我們可以做這些準備