LLaMA 2端到端推理打通！來自中國團隊

AIGC動態歡迎閱讀

原標題：LLaMA 2端到端推理打通！來自中國團隊

關鍵字：模型,生態,層級,硬件,工具

文章來源：量子位

內容字數：8131字

內容摘要：允中 發自 凹非寺量子位 | 公眾號 QbitAIBuddy Compiler 端到端 LLaMA2-7B 推理示例已經合并到 buddy-mlir倉庫[1]主線。我們在 Buddy Compiler 的前端部分實現了面向 TorchDynamo 的第三方編譯器，從而結合了 MLIR 和 PyTorch 的編譯生態。目前，前端部分可以覆蓋 LLaMA 計算圖，轉換到 MLIR 后我們集成了部分向量化和并行優化，并在 AVX512 平臺上進行了測試。整個推理過程可以跑通但還需要大量優化。以下是相關鏈接和現狀：[E2E] Buddy Compiler 端到端 LLaMA2-7B 推理示例[2][E2E] 上述端到端推理示例目的是展示編譯棧設計，并非完備的 LLaMA 問答工具[Frontend] Buddy Dynamo Compiler[3][Midend] 集成面向矩陣乘法的向量化以及面向…

原文鏈接：點此閱讀原文：LLaMA 2端到端推理打通！來自中國團隊

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破