AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：首席分析師揭秘爆火Groq，每小時(shí)要燒168美元！10倍H100擁有成本，老黃笑而不語(yǔ)
關(guān)鍵字：芯片,成本,模型,系統(tǒng),服務(wù)器
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：10526字

內(nèi)容摘要：

新智元報(bào)道編輯：潤(rùn) 好困
【新智元導(dǎo)讀】SemiAnalysis的行業(yè)專家對(duì)最近爆火的Groq推理系統(tǒng)進(jìn)行了像素級(jí)的拆解，測(cè)算出其持有成本依然高達(dá)現(xiàn)有H100的10倍，看來(lái)要趕上老黃的步伐，初創(chuàng)公司還有很多要做。最近爆火的AI初創(chuàng)公司Groq，推出了比目前常見GPU推理系統(tǒng)快4倍，成本低70%的大模型推理解決方案。
他們提供的運(yùn)行Mistral Mixtral 8x7b的API演示，讓大部分習(xí)慣了其他LLM「娓娓道來(lái)」的用戶直呼，簡(jiǎn)直是魔法！
Groq在處理單個(gè)數(shù)據(jù)序列方面展現(xiàn)出了驚人的性能優(yōu)勢(shì)，這可能使得「思維鏈」等技術(shù)在現(xiàn)實(shí)世界中變得更加實(shí)用。雖然Groq有如此之多的好處，但評(píng)估某款硬件是否真的具有性的核心標(biāo)準(zhǔn)是性能與總成本的比值。
為此，SemiAnalysis首席分析師Dylan Patel和分析師Daniel Nishball寫了一篇萬(wàn)字長(zhǎng)文，對(duì)Groq進(jìn)行了深度地剖析。
「推理速度打破紀(jì)錄，但代價(jià)是什么呢？」現(xiàn)在沒有人會(huì)懷疑AI時(shí)代已經(jīng)到來(lái)，重要的是要認(rèn)識(shí)到，AI驅(qū)動(dòng)軟件的成本結(jié)構(gòu)與傳統(tǒng)軟件有非常大的不同。
在開發(fā)和擴(kuò)展AI軟件規(guī)模的過(guò)程中，芯片微架構(gòu)和系統(tǒng)架構(gòu)起著關(guān)

原文鏈接：首席分析師揭秘爆火Groq，每小時(shí)要燒168美元！10倍H100擁有成本，老黃笑而不語(yǔ)

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。