基于牛頓求根法，新算法實(shí)現(xiàn)并行訓(xùn)練和評(píng)估RNN，帶來(lái)超10倍增速

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：基于牛頓求根法，新算法實(shí)現(xiàn)并行訓(xùn)練和評(píng)估RNN，帶來(lái)超10倍增速

關(guān)鍵字：序列,算子,矩陣,模型,方法

文章來(lái)源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：7120字

內(nèi)容摘要：機(jī)器之心報(bào)道編輯：Panda W人們普遍認(rèn)為 RNN 是無(wú)法并行化的，因?yàn)槠浔举|(zhì)上的序列特性：其狀態(tài)依賴(lài)于前一狀態(tài)。這使得人們難以用長(zhǎng)序列來(lái)訓(xùn)練 RNN。近日，一種新算法的出現(xiàn)打破了這一慣常認(rèn)知，可以并行化 RNN 和 NeuralODE 等非線性序列模型的評(píng)估和訓(xùn)練，從而為相關(guān)研究和開(kāi)發(fā)帶來(lái)顯著的速度提升。過(guò)去十年來(lái)，深度學(xué)習(xí)領(lǐng)域發(fā)展迅速，其一大主要推動(dòng)力便是并行化。通過(guò) GPU 和 TPU 等…

原文鏈接：點(diǎn)此閱讀原文：基于牛頓求根法，新算法實(shí)現(xiàn)并行訓(xùn)練和評(píng)估RNN，帶來(lái)超10倍增速

聯(lián)系作者

文章來(lái)源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)