拿CPU搞AI推理，誰給你的底氣？

AIGC動態歡迎閱讀

原標題：拿CPU搞AI推理，誰給你的底氣？
關鍵字：英特爾,模型,解讀,處理器,矩陣
文章來源：量子位
內容字數：7612字

內容摘要：

金磊 夢晨 發自 凹非寺量子位 | 公眾號 QbitAI大模型的訓練階段我們選擇GPU，但到了推理階段，我們果斷把CPU加到了菜單上。
量子位在近期與眾多行業人士交流過程中發現，他們中有很多人紛紛開始傳遞出上述的這種觀點。
無獨有偶，Hugging Face在官方優化教程中，也有數篇文章劍指“如何用CPU高效推理大模型”：
而且細品教程內容后不難發現，這種用CPU加速推理的方法，所涵蓋的不僅僅是大語言模型，更是涉獵到了圖像、音頻等形式的多模態大模型。
不僅如此，就連主流的框架和庫，例如TensorFlow和PyTorch等，也一直在不斷優化，提供針對CPU的優化、高效推理版本。
就這樣，在GPU及其他專用加速芯片一統AI訓練天下的時候，CPU在推理，包括大模型推理這件事上似乎辟出了一條“蹊徑”，而且與之相關的討論熱度居然也逐漸高了起來。
至于為什么會出現這樣的情況，與大模型的發展趨勢可謂是緊密相關。
自從ChatGPT問世引爆了AIGC，國內外玩家先是以訓練為主，呈現出一片好不熱鬧的百模大戰；然而當訓練階段完畢，各大模型便紛紛踏至應用階段。
就連英偉達在公布的最新季度財報中也表示，18

原文鏈接：拿CPU搞AI推理，誰給你的底氣？

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破