豪賭!哈佛輟學(xué)華人竟然發(fā)布了只支持Transformer一種算法的AI芯片,一張頂20張H100 ,比GB200快

AIGC動態(tài)歡迎閱讀
原標(biāo)題:豪賭!哈佛輟學(xué)華人竟然發(fā)布了只支持Transformer一種算法的AI芯片,一張頂20張H100 ,比GB200快
關(guān)鍵字:芯片,模型,創(chuàng)始人,投資人,公司
文章來源:夕小瑤科技說
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
夕小瑤科技說 分享來源 | 量子位首款大模型推理專用ASIC芯片問世,一上來就要挑戰(zhàn)英偉達——
一張頂20張H100
700億參數(shù)Llama 3吞吐量達到每秒500000(五十萬)tokens
比英偉達下一代芯片GB200快一個數(shù)量級,還更便宜
Sohu芯片,來自初創(chuàng)公司Etched,一經(jīng)推出就引起業(yè)界墻裂關(guān)注。
作為專用集成電路ASIC,與通用計算的GPU不同,它只支持Transformer一種算法,無法運行同為神經(jīng)網(wǎng)絡(luò)的CNN、LSTM、以及Mamba等狀態(tài)空間模型。
Etched公司也剛剛完成1.2億美元A輪融資(約8.7億元人民幣),Peter Thiel、GitHub現(xiàn)任CEO Thomas Dohmke等重量級天使投資人參與。公司還透露,已有某客戶預(yù)定了價值數(shù)千萬美元的硬件產(chǎn)品。
今天的每個SOTA模型都基于Transformer,ChatGPT、Sora、Gemini、Stable Diffusion 3等。假如有一天Transformer被SSM、RWKV或任何新架構(gòu)取代,我們的芯片將毫無價值。但如果我們是對的,Sohu將改變世界。
對此,Mamba作者Tri Dao也
原文鏈接:豪賭!哈佛輟學(xué)華人竟然發(fā)布了只支持Transformer一種算法的AI芯片,一張頂20張H100 ,比GB200快
聯(lián)系作者
文章來源:夕小瑤科技說
作者微信:xixiaoyaoQAQ
作者簡介:專業(yè)、有趣、深度價值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員,覆蓋500多家海內(nèi)外機構(gòu)投資人,互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠,兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作:zym5189

粵公網(wǎng)安備 44011502001135號