AIGC動態(tài)歡迎閱讀

原標題：向英偉達發(fā)起挑戰(zhàn)的Groq是什么來頭？簡單科普新型AI芯片LPU
關鍵字：人工智能,語言,任務,公司,模型
文章來源：機器之心
內容字數：7375字

內容摘要：

機器之心報道
編輯：張倩這是一篇關于 LPU 的簡單科普。
在如今的人工智能領域，「GPU is All You Need」已經逐漸成為。沒有充足的 GPU，連 OpenAI 都不能輕易升級 ChatGPT。
不過最近，GPU 的地位也在經受挑戰(zhàn)：一家名為 Groq 的初創(chuàng)公司開發(fā)出了一種新的 AI 處理器 ——LPU（Language Processing Unit），其推理速度相較于英偉達 GPU 提高了 10 倍，成本卻降低到十分之一。
在一項展示中，LPU 以每秒超過 100 個詞組的驚人速度執(zhí)行了開源的大型語言模型 —— 擁有 700 億個參數的 Llama-2。下圖展示了它的速度，可以看到，人眼的閱讀速度根本跟不上 LPU 上模型的生成速度：此外，它還在 Mixtral 中展示了自己的實力，實現了每個用戶每秒近 500 個 token。
這一突破凸顯了計算模式的潛在轉變，即在處理基于語言的任務時，LPU 可以提供一種專業(yè)化、更高效的替代方案，挑戰(zhàn)傳統(tǒng)上占主導地位的 GPU。
不過，原阿里技術副總裁、Lepton AI 創(chuàng)始人賈揚清發(fā)文分析稱，Groq 的實際部署成本可能

原文鏈接：向英偉達發(fā)起挑戰(zhàn)的Groq是什么來頭？簡單科普新型AI芯片LPU

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產業(yè)服務平臺