能找神經網絡Bug的可視化工具，Nature子刊收錄

AIGC動態歡迎閱讀

原標題：能找神經網絡Bug的可視化工具，Nature子刊收錄
關鍵字：神經網絡,數據,表示,樣本,拓撲學
文章來源：機器之心
內容字數：4730字

內容摘要：

機器之心報道
編輯：婁佳琪、大盤雞近來，《自然》子刊收錄了一項能找出神經網絡在哪里出錯的研究成果。研究團隊提供了一種利用拓撲學描述神經網絡的推斷結果與其分類之間關系的可視化方法。這項成果能夠幫助研究人員推斷神經網絡推理過程中發生混淆的具體情況，讓人工智能系統更加透明。研究人員發現，在神經網絡推理的某些數據圖中存在尖峰，這些尖峰往往出現在神經網絡判斷模糊與產生錯誤的地方。觀察這些尖峰，研究人員可以更容易發現人工智能系統中的故障點。
從分析癌癥突變的原因到決定誰應該獲得貸款，在解決這些問題的過程中，仿照人腦的神經網絡比人類表現得更加快速、準確、公正。但是由于人工智能的工作并不透明，難以得知它們推理判斷的過程，這引發了對人工智能可靠性的擔憂。現在，一項新的研究提供了一種發現神經網絡的錯誤出在哪里的方法。這項研究為揭示神經網絡在出錯時正在進行怎樣的操作提供了可能。
神經網絡在對數據集進行計算時，會將注意力集中在樣本上，例如圖像中是否包含人臉。編碼這些細節的數字串被用來計算樣本屬于某個特定類別的概率。在本例中，計算的是圖像中是否有一個人，以及這個人的臉是否顯示出來。
然而，神經網絡從哪些樣本數據

原文鏈接：能找神經網絡Bug的可視化工具，Nature子刊收錄

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺