LLaMA 2端到端推理打通！來自中國團隊

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LLaMA 2端到端推理打通！來自中國團隊

關(guān)鍵字：模型,生態(tài),層級,硬件,工具

文章來源：量子位

內(nèi)容字?jǐn)?shù)：8131字

內(nèi)容摘要：允中 發(fā)自 凹非寺量子位 | 公眾號 QbitAIBuddy Compiler 端到端 LLaMA2-7B 推理示例已經(jīng)合并到 buddy-mlir倉庫[1]主線。我們在 Buddy Compiler 的前端部分實現(xiàn)了面向 TorchDynamo 的第三方編譯器，從而結(jié)合了 MLIR 和 PyTorch 的編譯生態(tài)。目前，前端部分可以覆蓋 LLaMA 計算圖，轉(zhuǎn)換到 MLIR 后我們集成了部分向量化和并行優(yōu)化，并在 AVX512 平臺上進行了測試。整個推理過程可以跑通但還需要大量優(yōu)化。以下是相關(guān)鏈接和現(xiàn)狀：[E2E] Buddy Compiler 端到端 LLaMA2-7B 推理示例[2][E2E] 上述端到端推理示例目的是展示編譯棧設(shè)計，并非完備的 LLaMA 問答工具[Frontend] Buddy Dynamo Compiler[3][Midend] 集成面向矩陣乘法的向量化以及面向…

原文鏈接：點此閱讀原文：LLaMA 2端到端推理打通！來自中國團隊

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破