OpenAI新研究GPT-4大腦，分解1600萬個特征打開“黑匣子”，Ilya 、Jan Leike也參與了！

AIGC動態歡迎閱讀

原標題：OpenAI新研究GPT-4大腦，分解1600萬個特征打開“黑匣子”，Ilya 、Jan Leike也參與了！
關鍵字：解讀,模型,特征,編碼器,表示
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 付奶茶
6月7日凌晨，OpenAI在官網發布了一個新的研究成果，首次GPT-4的神經網絡活動。通過改進大規模訓練稀疏自動編碼器將GPT-4的內部表示分解為 1600 萬個特征。而且，前段時間離職的Ilya Sutskever、Jan Leike也是作者之一！
這不是破譯了GPT-4的大腦嗎！
聽起來好像很有意思，于是奶茶趕緊搬運來，讓我們一起來看下！
稀疏自編碼器神經網絡一直被視為人工智能領域的“黑匣子”，其運作機制復雜難懂，與機械設備不同，神經網絡的設計和訓練充滿了未知。在設計和訓練神經網絡時，對最終結果的理解非常有限。
為了揭開這個“黑匣子”，OpenAI的研究人員一直在尋找神經計算的基本構建塊。然而，語言模型內部的神經激活模式復雜多變，似乎同時代表了多個概念，并且這些激活是密集的，每次輸入都會觸發多個激活。這與現實世界中遇到的稀疏概念形成鮮明對比，在任何給定情境中，只有少數幾個概念是相關的。
于是，OpenAI研究團隊開始了關于從語言模型中提取可解釋特征的研究：
論文標題：Scaling and evaluating sparse autoenco

原文鏈接：OpenAI新研究GPT-4大腦，分解1600萬個特征打開“黑匣子”，Ilya 、Jan Leike也參與了！

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189