清華太極-Ⅱ 光芯片登上Nature,首創(chuàng)架構(gòu)突破智能光計算訓(xùn)練難題
AIGC動態(tài)歡迎閱讀
原標(biāo)題:清華太極-Ⅱ 光芯片登上Nature,首創(chuàng)架構(gòu)突破智能光計算訓(xùn)練難題
關(guān)鍵字:太極,神經(jīng)網(wǎng)絡(luò),系統(tǒng),架構(gòu),光子
文章來源:大數(shù)據(jù)文摘
內(nèi)容字數(shù):0字
內(nèi)容摘要:
大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載學(xué)術(shù)頭條
撰文:馬雪薇
未來的人工智能(AI)模型,或許可以用“光”來訓(xùn)練了。長期以來,傳統(tǒng)的電子計算推動著 AI 模型規(guī)模的不斷擴展,但大規(guī)模意味著高算力,也意味著高能耗,因此,亟需一種高效低能耗的計算方法來解決未來 AI 模型所面臨的能源問題。
近年間,具有高算力低功耗特性的智能光計算逐步登上了算力發(fā)展的舞臺。通用智能光計算芯片“太極”的問世便是其中的一個縮影,它首次將光計算從原理驗證推向了大規(guī)模實驗應(yīng)用,以 160TOPS/W 的系統(tǒng)級能效為大規(guī)模復(fù)雜任務(wù)的“推理”帶來了曙光,但未能夠釋放智能光計算的“訓(xùn)練之能”。
訓(xùn)練和推理是 AI 大模型核心能力的兩大基石,缺一不可。相較于模型推理而言,模型訓(xùn)練更需要大規(guī)模算力。
然而,現(xiàn)有的光神經(jīng)網(wǎng)絡(luò)訓(xùn)練嚴重依賴電計算進行離線建模并且要求物理系統(tǒng)精準對齊。正因如此,光學(xué)訓(xùn)練的規(guī)模受到了極大的限制。
由清華大學(xué)電子工程系教授方璐、自動化系戴瓊海院士及其科研團隊提出的全前向智能光計算訓(xùn)練架構(gòu)太極-II,擺脫了原有光計算系統(tǒng)對電計算離線建模的依賴,實現(xiàn)了大規(guī)模神經(jīng)網(wǎng)絡(luò)的在線訓(xùn)練,并有潛力支撐未來 AI 大模型的高速、低功耗訓(xùn)練。
原文鏈接:清華太極-Ⅱ 光芯片登上Nature,首創(chuàng)架構(gòu)突破智能光計算訓(xùn)練難題
聯(lián)系作者
文章來源:大數(shù)據(jù)文摘
作者微信:
作者簡介: