AIGC動態歡迎閱讀
原標題:清華光學AI登Nature!物理神經網絡,反向傳播不需要了
關鍵字:神經網絡,系統,方法,梯度,光子
文章來源:量子位
內容字數:0字
內容摘要:
一水 發自 凹非寺量子位 | 公眾號 QbitAI用光訓練神經網絡,清華成果最新登上了Nature!
無法應用反向傳播算法怎么辦?
他們提出了一種全前向模式(Fully Forward Mode,FFM)的訓練方法,在物理光學系統中直接執行訓練過程,克服了傳統基于數字計算機模擬的限制。
簡單點說,以前需要對物理系統進行詳細建模,然后在計算機上模擬這些模型來訓練網絡。而FFM方法省去了建模過程,允許系統直接使用實驗數據進行學習和優化。
這也意味著,訓練不需要再從后向前檢查每一層(反向傳播),而是可以直接從前向后更新網絡的參數。
打個比方,就像拼圖一樣,反向傳播需要先看到最終圖片(輸出),然后逆向一塊塊檢查復原;而FFM方法更像手中已有部分完成的拼圖,只需按照一些光原理(對稱互易性)繼續填充,而無需回頭檢查之前的拼圖。
這樣下來,使用FFM優勢也很明顯:
一是減少了對數學模型的依賴,可以避免模型不準確帶來的問題;二是節省了時間(同時能耗更低),使用光學系統可以并行處理大量的數據和操作,消除反向傳播也減少了整個網絡中需要檢查和調整的步驟。
論文共同一作是來自清華的薛智威、周天貺,通訊作者是清
原文鏈接:清華光學AI登Nature!物理神經網絡,反向傳播不需要了
聯系作者
文章來源:量子位
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...