陳天奇MLC-LLM重磅升級(jí)：基于機(jī)器學(xué)習(xí)編譯的通用LLM部署引擎

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：陳天奇MLC-LLM重磅升級(jí)：基于機(jī)器學(xué)習(xí)編譯的通用LLM部署引擎
關(guān)鍵字：龍舟,模型,籃球,模式,引擎
文章來源：智猩猩AGI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

7月25日上午10點(diǎn)，中國科學(xué)技術(shù)大學(xué)與微軟亞洲研究院聯(lián)合培養(yǎng)博士生張博文將在智猩猩直播講解微軟亞洲研究院開源成果GaussianCube，主題為《結(jié)構(gòu)化3DGS為高質(zhì)量3D生成帶來新思路》。歡迎掃名~01簡介當(dāng)下正是大型語言模型和生成式AI時(shí)代，蓬勃發(fā)展的大型語言模型帶來了定制和特定領(lǐng)域模型部署的重大機(jī)(風(fēng))遇(口)。一方面，云服務(wù)器部署發(fā)展迅速，提供能夠利用多個(gè)GPU為更大模型、更多并發(fā)服務(wù)請(qǐng)求的解決方案。與此同時(shí)，本地化的端側(cè)部署開始嶄露頭角，量化后的模型已能部署到筆記本電腦、瀏覽器和手機(jī)等端側(cè)設(shè)備上。相信未來是端云混合的部署方式，因此讓任何人都能在云端和本地環(huán)境中運(yùn)行大型語言模型至關(guān)重要。
包括MLC-LLM項(xiàng)目在內(nèi)的許多LLM推理項(xiàng)目，為服務(wù)器和本地模型部署提供了不同的解決方案，具有不同的實(shí)現(xiàn)和優(yōu)化。例如，服務(wù)器解決方案通常支持連續(xù)批處理和更好的多GPU支持，而本地部署的解決方案則具有更好的跨平臺(tái)移植性。然而，如何將所有技術(shù)集合在一起非常有必要。出現(xiàn)在一種用例中的許多技術(shù)如何直接適用于另一種用例。雖然類似連續(xù)批處理這樣的技術(shù)目前在某些本地用例中可能不太實(shí)用，但一旦LLM成

原文鏈接：陳天奇MLC-LLM重磅升級(jí)：基于機(jī)器學(xué)習(xí)編譯的通用LLM部署引擎

聯(lián)系作者

文章來源：智猩猩AGI
作者微信：
作者簡介：