安謀科技楊磊：搶占端側大模型部署制高點，NPU將為端側提供關鍵動力丨GenAICon 2024

AIGC動態歡迎閱讀

原標題：安謀科技楊磊：搶占端側大模型部署制高點，NPU將為端側提供關鍵動力丨GenAICon 2024
關鍵字：模型,周易,設備,功耗,硬件
文章來源：智東西
內容字數：8648字

內容摘要：

異構計算，把大模型塞進端側的最優解。?
2024中國生成式AI大會于4月18-19日在北京舉行，在大會第一天的主會場大模型專場上，安謀科技產品總監楊磊以《大模型端側部署提速，NPU賦能終端算力革新》為題發表演講。
從GPT-3.5到GPT-4.0，從多模態交互到插件支持，從閉源到開源，AI任務處理正加速從云側向端側遷移，NPU及其生態迎來全新的發展階段。安謀科技產品總監楊磊談道，生成式AI正逐步成為客戶端設備上的人機交互界面，而具備100億參數級別的大模型已成為現有終端設備的最佳匹配規格。
然而，在終端部署這類AI大模型時，仍面臨成本、功耗及軟件生態等多重挑戰。在當前大模型發展的硬件驅動方面，楊磊認為異構計算才是本地部署端側大模型的理想選擇，它能最大限度地提升SoC的性能、能效以及面積利用率。其中，NPU作為端側AI應用的關鍵算力資源，將為大模型的分布式落地演進提供核心動力。
當前，隨著大模型持續向邊緣側和端側滲透，AI計算和推理工作逐步由云端遷移至手機、PC、智能汽車等終端產品上運行。在這一過程中，NPU能夠以其更簡單的控制流、更高的效率以及更低的功耗，處理AI工作負載。安謀科技自研

原文鏈接：安謀科技楊磊：搶占端側大模型部署制高點，NPU將為端側提供關鍵動力丨GenAICon 2024

聯系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。