10倍英偉達GPU：大模型專用芯片一夜成名，來自谷歌TPU創業團隊

AIGC動態歡迎閱讀

原標題：10倍英偉達GPU：大模型專用芯片一夜成名，來自谷歌TPU創業團隊
關鍵字：模型,速度,人工智能,性能,架構
文章來源：機器之心
內容字數：4060字

內容摘要：

機器之心報道
編輯：澤南、蛋醬能帶來完全不同的大模型體驗。我們知道，大模型到 GPT-3.5 這種千億體量以后，訓練和推理的算力就不是普通創業公司所能承擔的了，人們用起來速度也會很慢。
但自本周起，這種觀念已成為歷史。
有名為 Groq 的初創公司開發出一種機器學習處理器，據稱在大語言模型任務上徹底擊敗了 GPU—— 比英偉達的 GPU 快 10 倍，而成本僅為 GPU 的 10%，只需要十分之一的電力。
這是在 Groq 上運行 Llama 2 的速度：
來源：https://twitter.com/emollick/status/1759633391098732967
這是 Groq（Llama 2）和 ChatGPT 面對同一個 prompt 的表現：
圖源：https://x.com/JayScambler/status/1759372542530261154?s=20
盡管看起來不可思議，但事實就是如此，感興趣的朋友不妨一試。
目前，Groq 的官網提供了試用體驗，有這些模型可選：官網地址：https://groq.com/
Groq 的處理器名為 LPU（語言處理單元），是

原文鏈接：10倍英偉達GPU：大模型專用芯片一夜成名，來自谷歌TPU創業團隊

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺