Groq發布超快LLM引擎，速度讓英偉達望塵莫及

AIGC動態歡迎閱讀

原標題：Groq發布超快LLM引擎，速度讓英偉達望塵莫及
關鍵字：語音,模型,開發者,速度,引擎
文章來源：AI范兒
內容字數：0字

內容摘要：

點擊上方藍字關注我們“Groq公司最新推出的LLM引擎在速度和智能化方面取得突破，其響應速度達到每秒1256.54個token，遠超Nvidia GPU，為AI應用部署提供了新的選擇。Groq公司在AI領域取得了顯著進展，其最新推出的大型語言模型（LLM）引擎在速度和智能化方面實現了重大突破。Groq上周低調發布了這項新功能，其響應速度達到了每秒1256.54個token，這一速度幾乎是即時的，且據Groq稱，是Nvidia等公司的GPU芯片所無法匹敵的。
Groq的這一成就標志著AI處理能力的一個新里程碑。公司網站引擎默認使用的是Meta公司的開源Llama3-8b-8192 LLM，用戶還可以選擇更大的Llama3-70b，以及一些Gemma（Google）和Mistral模型，未來還將支持更多模型。這種快速且靈活的體驗對于開發者和普通用戶來說都非常重要，它展示了LLM機器人的潛力。
Groq的CEO Jonathan Ross在接受《華爾街日報》采訪時表示，一旦人們發現在Groq的快速引擎上使用LLM是多么容易，LLM的使用率將會進一步提高。例如，在一次演示中，Groq幾乎是

原文鏈接：Groq發布超快LLM引擎，速度讓英偉達望塵莫及

聯系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡介：AI領域四大媒體之一。 智能未來，始于Prompt！