AIGC動態歡迎閱讀

原標題：史上最快AI芯片「Sohu」，速度10倍于B200，哈佛輟學生打造
關鍵字：芯片,模型,利用率,美元,張量
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：澤南、杜偉生成式 AI 推理性價比是 GPU 的 140 倍。大模型時代，全球都缺算力，買鏟子的英偉達市值被炒上了天。
現在，終于有一家公司帶著自己的 AI 芯片來叫板了。
今天凌晨，科技圈迎來了一個重要新聞。美國芯片創業公司 Etched 推出了自己的第一塊 AI 芯片 Sohu，它運行大模型的速度比英偉達 H100 要快 20 倍，比今年 3 月才推出的頂配芯片 B200 也要快上超過 10 倍。一臺 Sohu 的服務器運行 Llama 70B 每秒可輸出超過 50 萬個 token，比 H100 服務器（23,000 個 token / 秒）多 20 倍，比 B200 服務器（約 45,000 個 token / 秒）多 10 倍。Sohu 是世界第一款專用于 Transformer 計算的芯片，歷時兩年打造。
作為一塊 ASIC（專用集成電路），Sohu 把對于 transformer 架構的優化硬化在芯片中，無法運行大多數「傳統」的 AI 模型：如為 Instagram 廣告提供支持的 DLRM、AlphaFold 2 等蛋白質折疊模型或 Stable D

原文鏈接：史上最快AI芯片「Sohu」，速度10倍于B200，哈佛輟學生打造

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺