LLM超越人類時該如何對齊？谷歌用新RLHF框架解決了這個問題

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LLM超越人類時該如何對齊？谷歌用新RLHF框架解決了這個問題
關(guān)鍵字：提示,報告,模型,策略,自我
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
編輯：Panda讓 LLM 在自我進化時也能保持對齊。我們這個世界是不斷變化的開放世界。人工智能要在這個世界長久立足，就需要突破許多限制，包括可用數(shù)據(jù)和規(guī)模和質(zhì)量以及有用新信息的增長率。
對基于 LLM 的 AI 來說，高質(zhì)量的人類數(shù)據(jù)非常關(guān)鍵，但已有研究預(yù)計這些高質(zhì)量數(shù)據(jù)將在未來幾年耗盡。
如果 LLM 保持現(xiàn)在的發(fā)展勢頭，預(yù)計在 2028 年（中位數(shù)）左右，已有的數(shù)據(jù)儲量將被全部利用完，來自論文《Will we run out of data? Limits of LLM scaling based on human-generated data》
此后，這類數(shù)據(jù)的質(zhì)量也將停滯不前：隨著 LLM 能力越來越強，它們將能解決越來越復(fù)雜和越來越多的難題，而這些難題所需的訓(xùn)練數(shù)據(jù)已經(jīng)超出了人類的能力。
因此，我們就需要為 LLM 構(gòu)建一種能使其實現(xiàn)自我提升的基本機制，讓模型可以持續(xù)地自我生成和自我求解更困難的問題。
于是，問題就來了：語言模型能否自我創(chuàng)建可學(xué)習(xí)的新任務(wù)，從而實現(xiàn)自我改進以更好地泛化用于人類偏好對齊？
為了提升語言模型的對齊能力，人們已經(jīng)提出了許多偏好優(yōu)化算法

原文鏈接：LLM超越人類時該如何對齊？谷歌用新RLHF框架解決了這個問題