開源大模型推理引擎現(xiàn)狀及常見推理優(yōu)化方法

AIGC動態(tài)歡迎閱讀

原標題：開源大模型推理引擎現(xiàn)狀及常見推理優(yōu)化方法
關(guān)鍵字：模型,引擎,解讀,知乎,侵權(quán)
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

講座預告11月1日上午10點，南開大學在讀博士李森茂，將以《基于擴散模型編碼器模塊的推理加速》為主題進行直播講解，歡迎掃名~導讀作者為齊夏
原文來自知乎，地址：https://zhuanlan.zhihu.com/p/755874470
本文只做學術(shù)/技術(shù)分享，如有侵權(quán)，聯(lián)系刪文。01前言上個月sglang-v0.3.0和vllm-v0.6.0前后腳發(fā)布之后，就一直想總結(jié)梳理一下現(xiàn)在主流的大模型推理引擎。因為我覺得這也算是一個有意義的節(jié)點吧，從此開源大模型推理引擎總算是由”非常粗糙，但是能用”的階段邁入到了”好用，稍微有那么點粗糙”的階段。
大模型的推理引擎實際也就是近一兩年才開始飛速發(fā)展，從最開始的tgi和vllm并駕齊驅(qū)到如今sglang、lmdeply的異軍突起，整個開源社區(qū)都是非常有活力的。但是正如之前所說，從長遠的一個視角看如今的開源引擎實際上都還是比較粗糙的，大家都是在摸索中前進。另一方面也是因為現(xiàn)在全世界的目光都聚焦在llm這里，新技術(shù)的更新?lián)Q代太快了，做好一個大模型的推理引擎要做的事情實在是太太太太多了。除了要支持日新月異的新模型和新硬件，還要不斷關(guān)心學術(shù)界最新的p

原文鏈接：開源大模型推理引擎現(xiàn)狀及常見推理優(yōu)化方法