放棄Scaling Law!中科院、清北提出內(nèi)生復(fù)雜性類腦網(wǎng)絡(luò):讓AI像人腦一樣“小而強(qiáng)”
AIGC動態(tài)歡迎閱讀
原標(biāo)題:放棄Scaling Law!中科院、清北提出內(nèi)生復(fù)雜性類腦網(wǎng)絡(luò):讓AI像人腦一樣“小而強(qiáng)”
關(guān)鍵字:復(fù)雜性,模型,神經(jīng)元,網(wǎng)絡(luò),動力學(xué)
文章來源:人工智能學(xué)家
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
想象一下,如果人工智能(AI)模型能像人腦一樣,規(guī)模小,耗能少,但具備同樣復(fù)雜功能,那現(xiàn)階段 AI 模型訓(xùn)練的耗能大、難理解的瓶頸是不是就能解決了?
中國科學(xué)院自動化研究所李國齊、徐波研究員團(tuán)隊(duì)聯(lián)合清華大學(xué)、北京大學(xué)等團(tuán)隊(duì)便在這一方面取得了突破——
他們借鑒大腦神經(jīng)元復(fù)雜動力學(xué)特性,提出了“基于內(nèi)生復(fù)雜性”的類腦神經(jīng)元模型構(gòu)建方法,而非基于 Scaling Law 去構(gòu)建更大、更深和更寬的神經(jīng)網(wǎng)絡(luò)。這種方法不僅改善了傳統(tǒng)模型通過向外拓展規(guī)模帶來的計(jì)算資源消耗問題,還保持了性能,內(nèi)存使用量減少了 4 倍,處理速度提高了 1 倍。
研究論文以“Network model with internal complexity bridges artificial intelligence and neuroscience”為題,發(fā)表在權(quán)威期刊 Nature Computational Science 上。共同通訊作者為中國科學(xué)院自動化所李國齊研究員、徐波研究員,北京大學(xué)田永鴻教授。共同一作是清華大學(xué)錢學(xué)森班的本科生何林軒(自動化所實(shí)習(xí)生),數(shù)理基科班本科生徐蘊(yùn)輝(自動化所實(shí)習(xí)生),清華大學(xué)精儀系
原文鏈接:放棄Scaling Law!中科院、清北提出內(nèi)生復(fù)雜性類腦網(wǎng)絡(luò):讓AI像人腦一樣“小而強(qiáng)”
聯(lián)系作者
文章來源:人工智能學(xué)家
作者微信:
作者簡介: