推理性能超H100十倍！21歲華裔小哥哈佛輟學(xué)開發(fā)AI加速芯片「Sohu」，2人公司估值3400萬刀

AIGC動態(tài)歡迎閱讀

原標題：推理性能超H100十倍！21歲華裔小哥哈佛輟學(xué)開發(fā)AI加速芯片「Sohu」，2人公司估值3400萬刀
關(guān)鍵字：芯片,性能,模型,公司,構(gòu)架
文章來源：新智元
內(nèi)容字數(shù)：6200字

內(nèi)容摘要：

新智元報道編輯：潤 好困
【新智元導(dǎo)讀】最近，兩位哈佛輟學(xué)生共同創(chuàng)立的AI芯片公司，估值已達3400萬美元，并計劃明年交付一款名為「Sohu」的AI推理加速芯片——其LLM推理性能達到H100的10倍，而單價吞吐量更是高達140倍。像Pika一樣的神級創(chuàng)業(yè)故事又要再次上演了？
兩位哈佛退學(xué)的年輕人，想要制造一款專用于大語言模型加速的AI加速器芯片，將于2024年第三季度交付，推理性能達H100的10倍。
在今年6月份，兩位創(chuàng)始人Gavin Uberti和Chris Zhu創(chuàng)立了Etched.ai，獲得了包括Ebay前CEO Devin Wenig在內(nèi)一眾風(fēng)投機構(gòu)的536萬美元的種子輪投資。
公司估值更是高達3400萬美元！
根據(jù)公司官網(wǎng)上放出的數(shù)據(jù)，這款芯片將在硬件層面上集成Transformer構(gòu)架，將推理速度相比于英偉達H100提升了8-10倍！
他們將第一款LLM加速芯片命名為「Sohu」，號稱可以在毫秒級別的時間里處理數(shù)千個單詞。芯片還支持通過樹搜索更好地編碼，能夠并行比較數(shù)百個響應(yīng)。
還支持多重推測解碼（Multicast speculative decoding），可以實

原文鏈接：推理性能超H100十倍！21歲華裔小哥哈佛輟學(xué)開發(fā)AI加速芯片「Sohu」，2人公司估值3400萬刀

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。