全新近似注意力機制HyperAttention：對長上下文友好、LLM推理提速50%

AIGC動態(tài)歡迎閱讀

原標題：全新近似注意力機制HyperAttention：對長上下文友好、LLM推理提速50%

關鍵字：矩陣,注意力,算法,研究者,條目

文章來源：機器之心

內容字數(shù)：9661字

內容摘要：機器之心報道編輯：大盤雞本文介紹了一項近似注意力機制新研究，耶魯大學、谷歌研究院等機構提出了 HyperAttention，使 ChatGLM2 在 32k 上下文長度上的推理時間快了 50%。Transformer 已經成功應用于自然語言處理、計算機視覺和時間序列預測等領域的各種學習任務。雖然取得了成功，但這些模型仍面臨著嚴重的可擴展性限制，原因是對其注意力層的精確計算導致了二次（在序列長度上）…

原文鏈接：點此閱讀原文：全新近似注意力機制HyperAttention：對長上下文友好、LLM推理提速50%

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產業(yè)服務平臺