運行LIama2得8400萬元！最快AI推理芯片成本推算引熱議

AIGC動態(tài)歡迎閱讀

原標題：運行LIama2得8400萬元！最快AI推理芯片成本推算引熱議
關(guān)鍵字：騰訊,芯片,模型,價格,峰會
文章來源：量子位
內(nèi)容字數(shù)：3617字

內(nèi)容摘要：

白交 發(fā)自 凹非寺量子位 | 公眾號 QbitAI想實現(xiàn)史上最快大模型推理，得要1171萬美元（8410萬元）？？？
同等項目下，使用英偉達GPU成本只需30萬美元……
關(guān)于最強AI芯片易主Groq，可能得讓再飛一會兒了。
這兩天，Groq驚艷亮相。它以號稱“性價比高英偉達100倍”的芯片，實現(xiàn)每秒500tokens大模型生成，感受不到任何延遲。外加谷歌TPU團隊這樣一個高精尖人才Buff，讓不少人直呼：英偉達要被碾壓了……
喧囂過后開始出現(xiàn)一些理智討論，其中主要還是針對Groq的效益成本問題。
網(wǎng)友粗略一算，現(xiàn)在演示Demo就需要568塊芯片，花費1171萬美元。
于是乎，業(yè)內(nèi)業(yè)外各界人士不約而同地展開了一場算術(shù)。
甚至出現(xiàn)了位分析師，拿著表格現(xiàn)身說法……
并感嘆了句：OK，everybody is doing public math this week.
不過Groq也第一時間在社交網(wǎng)絡(luò)上進行了回應(yīng)。
“每個人都在做數(shù)學(xué)”參與到Groq成本問題討論的，有計算機學(xué)生，也有同提供推理服務(wù)的云廠商，甚至還有Groq前員工大戰(zhàn)現(xiàn)員工……好不熱鬧。
摘取幾個有代表性的，我們來看看大家

原文鏈接：運行LIama2得8400萬元！最快AI推理芯片成本推算引熱議

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破