AIGC動態歡迎閱讀

原標題：LLM超越人類時該如何對齊？谷歌用新RLHF框架解決了這個問題
關鍵字：提示,報告,模型,策略,自我
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda讓 LLM 在自我進化時也能保持對齊。我們這個世界是不斷變化的開放世界。人工智能要在這個世界長久立足，就需要突破許多限制，包括可用數據和規模和質量以及有用新信息的增長率。
對基于 LLM 的 AI 來說，高質量的人類數據非常關鍵，但已有研究預計這些高質量數據將在未來幾年耗盡。
如果 LLM 保持現在的發展勢頭，預計在 2028 年（中位數）左右，已有的數據儲量將被全部利用完，來自論文《Will we run out of data? Limits of LLM scaling based on human-generated data》
此后，這類數據的質量也將停滯不前：隨著 LLM 能力越來越強，它們將能解決越來越復雜和越來越多的難題，而這些難題所需的訓練數據已經超出了人類的能力。
因此，我們就需要為 LLM 構建一種能使其實現自我提升的基本機制，讓模型可以持續地自我生成和自我求解更困難的問題。
于是，問題就來了：語言模型能否自我創建可學習的新任務，從而實現自我改進以更好地泛化用于人類偏好對齊？
為了提升語言模型的對齊能力，人們已經提出了許多偏好優化算法

原文鏈接：LLM超越人類時該如何對齊？谷歌用新RLHF框架解決了這個問題

聯系作者

文章來源：機器之心
作者微信：
作者簡介：