比GPT-4快18倍，世界最快大模型Groq登場(chǎng)！每秒500 token破紀(jì)錄，自研LPU是英偉達(dá)GPU 10倍

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：比GPT-4快18倍，世界最快大模型Groq登場(chǎng)！每秒500 token破紀(jì)錄，自研LPU是英偉達(dá)GPU 10倍
關(guān)鍵字：模型,速度,吞吐量,存儲(chǔ)器,單元
文章來源：新智元
內(nèi)容字?jǐn)?shù)：6990字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子 好困
【新智元導(dǎo)讀】卷瘋了！世界最快的大模型Groq一夜之間爆火，能夠每秒輸出近500個(gè)token。如此神速的響應(yīng)，背后全憑自研的LPU。一覺醒來，每秒能輸出500個(gè)token的Groq模型刷屏全網(wǎng)。
堪稱是「世界上速度最快的LLM」！
相比之下，ChatGPT-3.5每秒生成速度僅為40個(gè)token。
有網(wǎng)友將其與GPT-4、Gemini對(duì)標(biāo)，看看它們完成一個(gè)簡單代碼調(diào)試問題所需的時(shí)間。
沒想到，Groq完全碾壓兩者，在輸出速度上比Gemini快10倍，比GPT-4快18倍。（不過就答案質(zhì)量來說，Gemini更好。）
最關(guān)鍵的是，任何人可以免費(fèi)用！
進(jìn)入Groq主頁，目前有兩種可以自選的模型：Mixtral8x7B-32k，Llama 270B-4k。
地址：https://groq.com/
與此同時(shí)，Groq API也向開發(fā)者提供，完全兼容OpenAI API。
Mixtral 8x7B SMoE可以達(dá)到480 token/S，100萬token價(jià)格為0.27美元。極限情況下，用Llama2 7B甚至能實(shí)現(xiàn)750 token/S。
目前，他們還提供100萬

原文鏈接：比GPT-4快18倍，世界最快大模型Groq登場(chǎng)！每秒500 token破紀(jì)錄，自研LPU是英偉達(dá)GPU 10倍

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。