AIGC動態歡迎閱讀
原標題:豪賭!哈佛輟學華人竟然發布了只支持Transformer一種算法的AI芯片,一張頂20張H100 ,比GB200快
關鍵字:芯片,模型,創始人,投資人,公司
文章來源:夕小瑤科技說
內容字數:0字
內容摘要:
夕小瑤科技說 分享來源 | 量子位首款大模型推理專用ASIC芯片問世,一上來就要挑戰英偉達——
一張頂20張H100
700億參數Llama 3吞吐量達到每秒500000(五十萬)tokens
比英偉達下一代芯片GB200快一個數量級,還更便宜
Sohu芯片,來自初創公司Etched,一經推出就引起業界墻裂關注。
作為專用集成電路ASIC,與通用計算的GPU不同,它只支持Transformer一種算法,無法運行同為神經網絡的CNN、LSTM、以及Mamba等狀態空間模型。
Etched公司也剛剛完成1.2億美元A輪融資(約8.7億元人民幣),Peter Thiel、GitHub現任CEO Thomas Dohmke等重量級天使投資人參與。公司還透露,已有某客戶預定了價值數千萬美元的硬件產品。
今天的每個SOTA模型都基于Transformer,ChatGPT、Sora、Gemini、Stable Diffusion 3等。假如有一天Transformer被SSM、RWKV或任何新架構取代,我們的芯片將毫無價值。但如果我們是對的,Sohu將改變世界。
對此,Mamba作者Tri Dao也
原文鏈接:豪賭!哈佛輟學華人竟然發布了只支持Transformer一種算法的AI芯片,一張頂20張H100 ,比GB200快
聯系作者
文章來源:夕小瑤科技說
作者微信:xixiaoyaoQAQ
作者簡介:專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員,覆蓋500多家海內外機構投資人,互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠,兼備敏銳的行業嗅覺和洞察深度。商務合作:zym5189