比 GPT-4 快 18 倍、自研芯片比英偉達 GPU 快 10 倍的 Groq，能否撼動英偉達？

AIGC動態歡迎閱讀

原標題：比 GPT-4 快 18 倍、自研芯片比英偉達 GPU 快 10 倍的 Groq，能否撼動英偉達？
關鍵字：模型,解讀,張量,產品,芯片
文章來源：Founder Park
內容字數：7750字

內容摘要：

這兩天國內外人工智能圈子都在熱議 Groq：這個硅谷公司的產品基于自研芯片可以做到在大模型推理時每秒處理將近 500 個 token。
500 個 token 什么概念，大概就是一句話的響應時間只需要不到 2 秒，如此這般的文字生成速度，甚至比翻譯軟件還快。當我們習慣了看 GPT 們慢悠悠的吐出答案時，第一次使用它看到那大模型生成的答案突突突的往外噴，或是更短的答案瞬間生成就像打開一個網頁一樣的快的時候，確實會驚的呆住一下。
這是在 Groq 上運行 Llama 2 的速度：
目前官網（groq.com）提供免費的試用，沒有用過的可以感受一下。
你也可以在 Poe 上免費體驗 Groq：https://poe.com/Mixtral-8x7b-Groq。
它一時間被冠以 game changer 的地位，被人們形容為即將干翻英偉達的存在。01如何實現：專為語言模型設計的張量流處理器在對 Groq 的討論里有人把它叫做大模型，有人叫它芯片，它自己叫自己 LPU。這些眼花繚亂的形容讓人很好奇，它到底是個啥，這么逆天的速度又是如何實現的？
根據 Groq 此前發布的論文，它的核心技術其實是一

原文鏈接：比 GPT-4 快 18 倍、自研芯片比英偉達 GPU 快 10 倍的 Groq，能否撼動英偉達？

聯系作者

文章來源：Founder Park
作者微信：Founder-Park
作者簡介：來自極客公園，專注與科技創業者聊「真問題」。