比GPT-4快18倍，世界最快大模型Groq登場！每秒500 token破紀錄，自研LPU是英偉達GPU 10倍

AIGC動態歡迎閱讀

原標題：比GPT-4快18倍，世界最快大模型Groq登場！每秒500 token破紀錄，自研LPU是英偉達GPU 10倍
關鍵字：模型,速度,吞吐量,存儲器,單元
文章來源：新智元
內容字數：6990字

內容摘要：

新智元報道編輯：桃子 好困
【新智元導讀】卷瘋了！世界最快的大模型Groq一夜之間爆火，能夠每秒輸出近500個token。如此神速的響應，背后全憑自研的LPU。一覺醒來，每秒能輸出500個token的Groq模型刷屏全網。
堪稱是「世界上速度最快的LLM」！
相比之下，ChatGPT-3.5每秒生成速度僅為40個token。
有網友將其與GPT-4、Gemini對標，看看它們完成一個簡單代碼調試問題所需的時間。
沒想到，Groq完全碾壓兩者，在輸出速度上比Gemini快10倍，比GPT-4快18倍。（不過就答案質量來說，Gemini更好。）
最關鍵的是，任何人可以免費用！
進入Groq主頁，目前有兩種可以自選的模型：Mixtral8x7B-32k，Llama 270B-4k。
地址：https://groq.com/
與此同時，Groq API也向開發者提供，完全兼容OpenAI API。
Mixtral 8x7B SMoE可以達到480 token/S，100萬token價格為0.27美元。極限情況下，用Llama2 7B甚至能實現750 token/S。
目前，他們還提供100萬

原文鏈接：比GPT-4快18倍，世界最快大模型Groq登場！每秒500 token破紀錄，自研LPU是英偉達GPU 10倍

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。