AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：比 GPT-4 快 18 倍、自研芯片比英偉達(dá) GPU 快 10 倍的 Groq，能否撼動(dòng)英偉達(dá)？
關(guān)鍵字：模型,解讀,張量,產(chǎn)品,芯片
文章來(lái)源：Founder Park
內(nèi)容字?jǐn)?shù)：7750字

內(nèi)容摘要：

這兩天國(guó)內(nèi)外人工智能圈子都在熱議 Groq：這個(gè)硅谷公司的產(chǎn)品基于自研芯片可以做到在大模型推理時(shí)每秒處理將近 500 個(gè) token。
500 個(gè) token 什么概念，大概就是一句話的響應(yīng)時(shí)間只需要不到 2 秒，如此這般的文字生成速度，甚至比翻譯軟件還快。當(dāng)我們習(xí)慣了看 GPT 們慢悠悠的吐出答案時(shí)，第一次使用它看到那大模型生成的答案突突突的往外噴，或是更短的答案瞬間生成就像打開一個(gè)網(wǎng)頁(yè)一樣的快的時(shí)候，確實(shí)會(huì)驚的呆住一下。
這是在 Groq 上運(yùn)行 Llama 2 的速度：
目前官網(wǎng)（groq.com）提供免費(fèi)的試用，沒(méi)有用過(guò)的可以感受一下。
你也可以在 Poe 上免費(fèi)體驗(yàn) Groq：https://poe.com/Mixtral-8x7b-Groq。
它一時(shí)間被冠以 game changer 的地位，被人們形容為即將干翻英偉達(dá)的存在。01如何實(shí)現(xiàn)：專為語(yǔ)言模型設(shè)計(jì)的張量流處理器在對(duì) Groq 的討論里有人把它叫做大模型，有人叫它芯片，它自己叫自己 LPU。這些眼花繚亂的形容讓人很好奇，它到底是個(gè)啥，這么逆天的速度又是如何實(shí)現(xiàn)的？
根據(jù) Groq 此前發(fā)布的論文，它的核心技術(shù)其實(shí)是一

原文鏈接：比 GPT-4 快 18 倍、自研芯片比英偉達(dá) GPU 快 10 倍的 Groq，能否撼動(dòng)英偉達(dá)？

聯(lián)系作者

文章來(lái)源：Founder Park
作者微信：Founder-Park
作者簡(jiǎn)介：來(lái)自極客公園，專注與科技創(chuàng)業(yè)者聊「真問(wèn)題」。