比GPT-4快18倍，世界最快大模型Groq登場！每秒500 token破紀(jì)錄，自研LPU是英偉達(dá)GPU 10倍

AIGC動態(tài)歡迎閱讀

原標(biāo)題：比GPT-4快18倍，世界最快大模型Groq登場！每秒500 token破紀(jì)錄，自研LPU是英偉達(dá)GPU 10倍
關(guān)鍵字：模型,速度,吞吐量,存儲器,單元
文章來源：新智元
內(nèi)容字?jǐn)?shù)：6990字

內(nèi)容摘要：

新智元報道編輯：桃子 好困
【新智元導(dǎo)讀】卷瘋了！世界最快的大模型Groq一夜之間爆火，能夠每秒輸出近500個token。如此神速的響應(yīng)，背后全憑自研的LPU。一覺醒來，每秒能輸出500個token的Groq模型刷屏全網(wǎng)。
堪稱是「世界上速度最快的LLM」！
相比之下，ChatGPT-3.5每秒生成速度僅為40個token。
有網(wǎng)友將其與GPT-4、Gemini對標(biāo)，看看它們完成一個簡單代碼調(diào)試問題所需的時間。
沒想到，Groq完全碾壓兩者，在輸出速度上比Gemini快10倍，比GPT-4快18倍。（不過就答案質(zhì)量來說，Gemini更好。）
最關(guān)鍵的是，任何人可以免費用！
進(jìn)入Groq主頁，目前有兩種可以自選的模型：Mixtral8x7B-32k，Llama 270B-4k。
地址：https://groq.com/
與此同時，Groq API也向開發(fā)者提供，完全兼容OpenAI API。
Mixtral 8x7B SMoE可以達(dá)到480 token/S，100萬token價格為0.27美元。極限情況下，用Llama2 7B甚至能實現(xiàn)750 token/S。
目前，他們還提供100萬

原文鏈接：比GPT-4快18倍，世界最快大模型Groq登場！每秒500 token破紀(jì)錄，自研LPU是英偉達(dá)GPU 10倍

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。