PyTorch官方認可！斯坦福博士新作：長上下文LLM推理速度提8倍

AIGC動態歡迎閱讀

原標題：PyTorch官方認可！斯坦福博士新作：長上下文LLM推理速度提8倍

關鍵字：長度,注意力,模型,長上,作者

文章來源：量子位

內容字數：5720字

內容摘要：豐色 發自 凹非寺量子位 | 公眾號 QbitAI這兩天，FlashAttention團隊推出了新作：一種給Transformer架構大模型推理加速的新方法，最高可提速8倍。該方法尤其造福于長上下文LLM，在64k長度的CodeLlama-34B上通過了驗證。甚至得到了PyTorch官方認可：如果你之前有所關注，就會記得用給大模型加速效果真的很驚艷。不過它僅限于訓練階段。因此，這一新成果一出，就有…

原文鏈接：點此閱讀原文：PyTorch官方認可！斯坦福博士新作：長上下文LLM推理速度提8倍

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破