熱歸熱，Groq離取代英偉達GPU有多遠？

AIGC動態歡迎閱讀

原標題：熱歸熱，Groq離取代英偉達GPU有多遠？
關鍵字：華為,解讀,成本,模型,張量
文章來源：機器之心
內容字數：3611字

內容摘要：

來源：節選自2024 年 Week08業內通訊2024 年 4 月 20日，即 Meta 開源 Llama 3 的隔天，初創公司Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可輸出token輸提升至800。
2024 年 2 月，初創公司Groq 展示了其 LPU 處理器對大語言模型任務提供的超高速推理的支持。彼時，Groq的 LPU 已能夠實現每秒能輸出 500 個 token，比英偉達的GPU快10倍，而成本僅為GPU 的 10%。
4 月 20日，即 Meta 開源 Llama 3 的隔天，初創公司Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可輸出token輸提升至800，引起社區熱議。
Groq 為何一夜爆火？
根據 Groq 官方在 2 月發布的 Demo 演示，基于其自研的 LPU 上運行的開源模型 Mixtral 能夠在 1 秒內回復包含數百個單詞的事實性的、引用的答案（其中四分之三的時間用來搜索）。
據悉，Groq 模型目前可在 Mixtral 8x7B SMoE 和 Llama2

原文鏈接：熱歸熱，Groq離取代英偉達GPU有多遠？

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺