向英偉達發起挑戰的Groq是什么來頭？簡單科普新型AI芯片LPU

AIGC動態歡迎閱讀

原標題：向英偉達發起挑戰的Groq是什么來頭？簡單科普新型AI芯片LPU
關鍵字：人工智能,語言,任務,公司,模型
文章來源：機器之心
內容字數：7375字

內容摘要：

機器之心報道
編輯：張倩這是一篇關于 LPU 的簡單科普。
在如今的人工智能領域，「GPU is All You Need」已經逐漸成為。沒有充足的 GPU，連 OpenAI 都不能輕易升級 ChatGPT。
不過最近，GPU 的地位也在經受挑戰：一家名為 Groq 的初創公司開發出了一種新的 AI 處理器 ——LPU（Language Processing Unit），其推理速度相較于英偉達 GPU 提高了 10 倍，成本卻降低到十分之一。
在一項展示中，LPU 以每秒超過 100 個詞組的驚人速度執行了開源的大型語言模型 —— 擁有 700 億個參數的 Llama-2。下圖展示了它的速度，可以看到，人眼的閱讀速度根本跟不上 LPU 上模型的生成速度：此外，它還在 Mixtral 中展示了自己的實力，實現了每個用戶每秒近 500 個 token。
這一突破凸顯了計算模式的潛在轉變，即在處理基于語言的任務時，LPU 可以提供一種專業化、更高效的替代方案，挑戰傳統上占主導地位的 GPU。
不過，原阿里技術副總裁、Lepton AI 創始人賈揚清發文分析稱，Groq 的實際部署成本可能

原文鏈接：向英偉達發起挑戰的Groq是什么來頭？簡單科普新型AI芯片LPU

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺