首席分析師揭秘爆火Groq，每小時要燒168美元！10倍H100擁有成本，老黃笑而不語

AIGC動態歡迎閱讀

原標題：首席分析師揭秘爆火Groq，每小時要燒168美元！10倍H100擁有成本，老黃笑而不語
關鍵字：芯片,成本,模型,系統,服務器
文章來源：新智元
內容字數：10526字

內容摘要：

新智元報道編輯：潤 好困
【新智元導讀】SemiAnalysis的行業專家對最近爆火的Groq推理系統進行了像素級的拆解，測算出其持有成本依然高達現有H100的10倍，看來要趕上老黃的步伐，初創公司還有很多要做。最近爆火的AI初創公司Groq，推出了比目前常見GPU推理系統快4倍，成本低70%的大模型推理解決方案。
他們提供的運行Mistral Mixtral 8x7b的API演示，讓大部分習慣了其他LLM「娓娓道來」的用戶直呼，簡直是魔法！
Groq在處理單個數據序列方面展現出了驚人的性能優勢，這可能使得「思維鏈」等技術在現實世界中變得更加實用。雖然Groq有如此之多的好處，但評估某款硬件是否真的具有性的核心標準是性能與總成本的比值。
為此，SemiAnalysis首席分析師Dylan Patel和分析師Daniel Nishball寫了一篇萬字長文，對Groq進行了深度地剖析。
「推理速度打破紀錄，但代價是什么呢？」現在沒有人會懷疑AI時代已經到來，重要的是要認識到，AI驅動軟件的成本結構與傳統軟件有非常大的不同。
在開發和擴展AI軟件規模的過程中，芯片微架構和系統架構起著關

原文鏈接：首席分析師揭秘爆火Groq，每小時要燒168美元！10倍H100擁有成本，老黃笑而不語

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。