拿CPU搞AI推理，誰給你的底氣？

AIGC動態(tài)歡迎閱讀

原標(biāo)題：拿CPU搞AI推理，誰給你的底氣？
關(guān)鍵字：英特爾,模型,解讀,處理器,矩陣
文章來源：量子位
內(nèi)容字?jǐn)?shù)：7612字

內(nèi)容摘要：

金磊 夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI大模型的訓(xùn)練階段我們選擇GPU，但到了推理階段，我們果斷把CPU加到了菜單上。
量子位在近期與眾多行業(yè)人士交流過程中發(fā)現(xiàn)，他們中有很多人紛紛開始傳遞出上述的這種觀點。
無獨有偶，Hugging Face在官方優(yōu)化教程中，也有數(shù)篇文章劍指“如何用CPU高效推理大模型”：
而且細(xì)品教程內(nèi)容后不難發(fā)現(xiàn)，這種用CPU加速推理的方法，所涵蓋的不僅僅是大語言模型，更是涉獵到了圖像、音頻等形式的多模態(tài)大模型。
不僅如此，就連主流的框架和庫，例如TensorFlow和PyTorch等，也一直在不斷優(yōu)化，提供針對CPU的優(yōu)化、高效推理版本。
就這樣，在GPU及其他專用加速芯片一統(tǒng)AI訓(xùn)練天下的時候，CPU在推理，包括大模型推理這件事上似乎辟出了一條“蹊徑”，而且與之相關(guān)的討論熱度居然也逐漸高了起來。
至于為什么會出現(xiàn)這樣的情況，與大模型的發(fā)展趨勢可謂是緊密相關(guān)。
自從ChatGPT問世引爆了AIGC，國內(nèi)外玩家先是以訓(xùn)練為主，呈現(xiàn)出一片好不熱鬧的百模大戰(zhàn)；然而當(dāng)訓(xùn)練階段完畢，各大模型便紛紛踏至應(yīng)用階段。
就連英偉達(dá)在公布的最新季度財報中也表示，18

原文鏈接：拿CPU搞AI推理，誰給你的底氣？

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破