OpenAI開(kāi)源了：Transformer自動(dòng)debug工具上線GitHub

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：OpenAI開(kāi)源了：Transformer自動(dòng)debug工具上線GitHub
關(guān)鍵字：神經(jīng)元,編碼器,模型,注意力,組件
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：3472字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：澤南不用敲代碼，就可以快速探索模型結(jié)構(gòu)。最近時(shí)常被吐槽不夠開(kāi)源的 OpenAI，突然開(kāi)放了一次。
今天一早，OpenAI 機(jī)器學(xué)習(xí)研究員 Jan Leike 宣布，OpenAI 開(kāi)放了自己內(nèi)部一直用于分析 Transformer 內(nèi)部結(jié)構(gòu)的工具。GitHub 鏈接：https://github.com/openai/transformer-debugger
該項(xiàng)目開(kāi)放才幾個(gè)小時(shí)，雖然沒(méi)有經(jīng)過(guò)太多宣傳，star 數(shù)量上漲得也挺快。Transformer Debugger 介紹
Transformer Debugger (TDB) 是 OpenAI 對(duì)齊團(tuán)隊(duì)（Superalignment）開(kāi)發(fā)的一種工具，旨在支持對(duì)小體量語(yǔ)言模型的特定行為進(jìn)行檢查。據(jù)介紹，該工具把自動(dòng)可解釋性技術(shù)與稀疏自動(dòng)編碼器進(jìn)行了結(jié)合。
具體來(lái)說(shuō)，TDB 能夠在需要編寫代碼之前進(jìn)行快速探索，并能夠干預(yù)前向傳遞，幫助人們查看它是如何影響模型特定行為的。TDB 可用于回答諸如「為什么模型在此提示（prompt）中輸出 token A 而不是 token B？」之類的問(wèn)題或「為什么注意力頭 H 會(huì)在這個(gè)提

原文鏈接：OpenAI開(kāi)源了：Transformer自動(dòng)debug工具上線GitHub

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)