AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：PyTorch官宣：告別CUDA，GPU推理迎來(lái)Triton加速新時(shí)代
關(guān)鍵字：內(nèi)核,矩陣,乘法,模型,性能
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：?jiǎn)虠?Frey
【新智元導(dǎo)讀】用英偉達(dá)的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI開(kāi)發(fā)的Triton語(yǔ)言編寫(xiě)內(nèi)核來(lái)加速LLM推理，可以實(shí)現(xiàn)和CUDA類(lèi)似甚至更佳的性能。試問(wèn)，有多少機(jī)器學(xué)習(xí)小白曾被深度學(xué)習(xí)框架和CUDA的兼容問(wèn)題所困擾？
又有多少開(kāi)發(fā)者曾因?yàn)轭l頻閃爍的警報(bào)「CUDA版本必須與安裝的PyTorch匹配！！！」而企圖炸鍵盤(pán)？
無(wú)論是TensorFlow還是Pytorch，GPU和CUDA搭配的概念早已深入骨髓。
如果我說(shuō)，就在昨天，有款為L(zhǎng)LM「量身定做」的CUDA-free推理上新了！你激不激動(dòng)？
原文地址：https://pytorch.org/blog/cuda-free-inference-for-llms/?hss_channel=tw-776585502606721024
那么，讓我們緊跟Pytorch的官方技術(shù)博客，一探究竟！看看它是如何將「」變?yōu)楝F(xiàn)實(shí)！
GPU的好搭子CUDACUDA（Compute Unified Device Architecture）到底是何方神物？為何被視為GPU的好搭子，LLMs的「利器」

原文鏈接：PyTorch官宣：告別CUDA，GPU推理迎來(lái)Triton加速新時(shí)代

聯(lián)系作者

文章來(lái)源：新智元
作者微信：
作者簡(jiǎn)介：