網(wǎng)絡(luò)規(guī)模、訓(xùn)練學(xué)習(xí)速度提升，清華團(tuán)隊(duì)在大規(guī)模光電智能計(jì)算方向取得進(jìn)展

AIGC動(dòng)態(tài)1年前 (2023)發(fā)布機(jī)器之心

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：網(wǎng)絡(luò)規(guī)模、訓(xùn)練學(xué)習(xí)速度提升，清華團(tuán)隊(duì)在大規(guī)模光電智能計(jì)算方向取得進(jìn)展

關(guān)鍵字：神經(jīng)元,神經(jīng)網(wǎng)絡(luò),光學(xué),光電,建模

文章來(lái)源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：5346字

內(nèi)容摘要：將 ScienceAI設(shè)為星標(biāo)第一時(shí)間掌握新鮮的 AI for Science 資訊編輯 | 紫羅隨著大模型等人工智能技術(shù)的突破與發(fā)展，算法復(fù)雜度劇增，對(duì)傳統(tǒng)計(jì)算芯片帶來(lái)了算力和功耗的雙重挑戰(zhàn)。近年來(lái)，以光計(jì)算為基礎(chǔ)、通過(guò)光電融合的方式構(gòu)建光電神經(jīng)網(wǎng)絡(luò)的計(jì)算處理方法已經(jīng)成為國(guó)際熱點(diǎn)研究問題，有望實(shí)現(xiàn)計(jì)算性能的顛覆性提升。然而，光電神經(jīng)網(wǎng)絡(luò)的前向數(shù)學(xué)模型由對(duì)光場(chǎng)的精準(zhǔn)物理建模得到，計(jì)算復(fù)雜度高、參數(shù)冗余度大；其學(xué)習(xí)機(jī)制沿用人工神經(jīng)網(wǎng)絡(luò)常用的梯度下降算法，面向大規(guī)模光電神經(jīng)網(wǎng)絡(luò)時(shí)優(yōu)化速度慢、資源消耗高、收斂效果差。因此，現(xiàn)有學(xué)習(xí)架構(gòu)僅能支撐小規(guī)模光電神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其網(wǎng)絡(luò)容量和特征捕獲能力不足以有效處理 ImageNet 等大型復(fù)雜數(shù)據(jù)集。近日，清華大學(xué)電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計(jì)算的：光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DuAl-Neuron opTical-artifici…

原文鏈接：點(diǎn)此閱讀原文：網(wǎng)絡(luò)規(guī)模、訓(xùn)練學(xué)習(xí)速度提升，清華團(tuán)隊(duì)在大規(guī)模光電智能計(jì)算方向取得進(jìn)展