端側大模型火了，但CPU被低估了｜甲子光年

AIGC動態(tài)歡迎閱讀

原標題：端側大模型火了，但CPU被低估了｜甲子光年
關鍵字：模型,小米,報告,微軟,終端
文章來源：甲子光年
內容字數：0字

內容摘要：

當前端側推理的起點，未來端側推理的支點。作者｜趙健
大模型火了之后，GPU也火了。一時間，GPU的持有量幾乎成為了評估大模型成敗的“度量衡”。
GPU很好，但不是大模型的全部。遠比GPU誕生更早的處理器芯片——CPU，它在大模型中的地位可能被遠遠低估了。
尤其是在端側大模型興起之后，端側推理越來越成為CPU的舞臺。
過去大半年，端側推理已經成為繼“百模大戰(zhàn)”之后下一個行業(yè)趨勢，由此衍生的AI PC、AI手機等概念，也成為電腦廠商、手機廠商的兵家必爭之地。
把大模型裝在PC、手機或者其他硬件中，需要足夠的算力來支撐，同時也需要兼顧效率和功耗。而CPU很可能是當前階段端側推理的算力最優(yōu)解。1.端側大模型火了
今天，如果你想體驗業(yè)內最領先的大模型對話助手，無論是OpenAI的ChatGPT，還是國內的Kimi、智譜清言等，都必須要聯(lián)網。這些大模型都部署在云端，適合編排涉及高級推理、數據分析和上下文理解的復雜任務的應用程序。
但是，云端模型不僅要消耗巨大的算力成本，還需要用戶上傳數據。出于對成本、數據隱私安全等方面的考量，把大模型部署在端側，已成為大勢所趨。
在大模型落地端側的需求下，我們

原文鏈接：端側大模型火了，但CPU被低估了｜甲子光年

聯(lián)系作者

文章來源：甲子光年
作者微信：jazzyear
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業(yè)服務版塊，立足中國科技創(chuàng)新前沿陣地，動態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產業(yè)技術升級案例，推動人工智能、大數據、物聯(lián)網、云計算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產業(yè)中的應用與落地。