AIGC動態(tài)歡迎閱讀

原標題：簡化版Transformer來了，網(wǎng)友：年度論文

關鍵字：研究者,速度,模型,深度,參數(shù)

文章來源：機器之心

內(nèi)容字數(shù)：8398字

內(nèi)容摘要：機器之心報道機器之心編輯部從大模型的根源開始優(yōu)化。Transformer 架構可以說是近期深度學習領域許多成功案例背后的主力軍。構建深度 Transformer 架構的一種簡單方法是將多個相同的 Transformer 「塊」（block）依次堆疊起來，但每個「塊」都比較復雜，由許多不同的組件組成，需要以特定的排列組合才能實現(xiàn)良好的性能。自從 2017 年 Transformer 架構誕生以來，研究者們基于其推出了大量衍生研究，但幾乎沒有改動過 Transformer 「塊」。那么問題來了，標準 Transformer 塊是否可以簡化？在最近的一篇論文中，來自 ETH Zurich 的研究者討論了如何在不影響收斂特性和下游任務性能的情況下簡化 LLM 所必需的標準 Transformer 塊。基于信號傳播理論和經(jīng)驗證據(jù)，他們發(fā)現(xiàn)可以移除一些部分，比如殘差連接、歸一化層（LayerNorm）…

原文鏈接：點此閱讀原文：簡化版Transformer來了，網(wǎng)友：年度論文

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺