AI 在 藥物發(fā)現(xiàn) 和 機(jī)器人技術(shù) 方面都有了突破性的進(jìn)展，也正在讓我們與機(jī)器和網(wǎng)絡(luò)之間的交互方式產(chǎn)生翻天覆地的變化。

原標(biāo)題：谷歌 DeepMind 有了觀察人工智能 “想法 ”的新方法
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：7221字

人工智能的機(jī)制可解釋性研究進(jìn)展

近年來，人工智能（AI）在藥物發(fā)現(xiàn)和機(jī)器人技術(shù)等領(lǐng)域取得了顯著進(jìn)展，同時(shí)也改變了我們與機(jī)器和網(wǎng)絡(luò)的交互方式。然而，對這些 AI 模型的工作原理和表現(xiàn)機(jī)制仍然缺乏深入了解。谷歌 DeepMind 的研究團(tuán)隊(duì)正在探索一種名為“機(jī)制可解釋性”的方法，旨在揭示 AI 背后的秘密。

新工具 Gemma Scope 的推出

DeepMind 于七月底發(fā)布了 Gemma Scope，這是一個(gè)幫助研究人員理解 AI 輸出生成過程的工具。該工具旨在通過分析模型內(nèi)部來提高對 AI 系統(tǒng)的控制，進(jìn)而開發(fā)出更優(yōu)秀的 AI 模型。團(tuán)隊(duì)負(fù)責(zé)人 Neel Nanda 表示，了解模型的思維過程將有助于改進(jìn) AI 的應(yīng)用。

稀疏自動(dòng)編碼器的應(yīng)用

DeepMind 通過在 AI 模型 Gemma 的每一層運(yùn)行“稀疏自動(dòng)編碼器”，來提取代表更大概念的特征。稀疏自動(dòng)編碼器如同顯微鏡，能夠放大并觀察模型內(nèi)部細(xì)節(jié)。它限制了神經(jīng)元的使用數(shù)量，以更高效地展示數(shù)據(jù)特征，幫助研究人員理解 AI 如何響應(yīng)特定輸入。

研究者的探索與發(fā)現(xiàn)

Neuronpedia 平臺與 DeepMind 合作，提供了一個(gè)體驗(yàn)版 demo，允許用戶測試不同的提示并觀察模型的特征激活情況。通過調(diào)試，研究者可以發(fā)現(xiàn)模型的反應(yīng)與特定概念的關(guān)聯(lián)，如“難堪”特征的激活情況。盡管有些特征更易追蹤，但識別模型中的錯(cuò)誤部分仍然是一個(gè)挑戰(zhàn)。

機(jī)制可解釋性的未來應(yīng)用

機(jī)制可解釋性研究的潛在應(yīng)用廣泛。研究者利用稀疏自動(dòng)編碼器，發(fā)現(xiàn)特定模型將某些職業(yè)與性別相關(guān)聯(lián)的特征，從而減少偏見。這項(xiàng)研究的成功在小規(guī)模模型上完成，但其適用性尚待驗(yàn)證。此外，研究者希望通過更深入的理解來避免 AI 在特定情況下輸出錯(cuò)誤的信息。

總結(jié)

盡管機(jī)制可解釋性研究仍面臨挑戰(zhàn)，但它為理解 AI 的內(nèi)部邏輯和改進(jìn)模型提供了新的思路。隨著研究的深入，未來可能會(huì)實(shí)現(xiàn)對 AI 輸出的精細(xì)控制，從而確保其表現(xiàn)符合預(yù)期。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。