騰訊大模型落地實操：模型推理引擎 TACO-LLM 的實踐、騰訊樂享的 AI 功能探索

AIGC動態(tài)歡迎閱讀

原標題：騰訊大模型落地實操：模型推理引擎 TACO-LLM 的實踐、騰訊樂享的 AI 功能探索
關鍵字：騰訊,模型,序列,數(shù)據(jù),場景
文章來源：Founder Park
內(nèi)容字數(shù)：17469字

內(nèi)容摘要：

大模型在今年的落地，除了對用 AI 對已有業(yè)務進行改造和提效外，算力和推理的優(yōu)化，可能是另外一項重要的實踐了。這在騰訊的兩個完全不同的業(yè)務上有著明顯的體現(xiàn)。
推理成本是當下大模型落地面臨的難題之一，整個 AI 行業(yè)都在探索如何高效利用計算資源，并行處理更多的推理請求。國內(nèi)的云廠商也都在針對現(xiàn)有的推理構架做優(yōu)化，甚至推出新的異構算力的解決方案。騰訊此前推出了大模型推理加速引擎 Taco-LLM，表現(xiàn)全面優(yōu)于 vLLM 框架，吞吐性能相比前者及 TensorRT-LLM 提升 1-3 倍不等。
而騰訊樂享，作為騰訊內(nèi)部孵化并使用了十余年的知識管理、學習培訓和文化構建平臺，開始利用 AI 對知識管理進行了深度改造，提效的同時也提高了知識的曝光、使用和迭代，AI 的加成甚至讓企業(yè)知識管理這個賽道從小眾成為了「熱門」。
在 4 月 2 日的 Workshop 上，我們邀請到了騰訊大模型相關業(yè)務的人員，來分享大模型在騰訊業(yè)務上的探索與實踐。本文整理自 Workshop 視頻，略有增刪。
分享嘉賓：
葉帆 騰訊云異構 AI 研發(fā)副總監(jiān)
沈林玲 騰訊樂享產(chǎn)品資深架構師
李想 騰訊云互聯(lián)網(wǎng)行業(yè)架構副總監(jiān)

原文鏈接：騰訊大模型落地實操：模型推理引擎 TACO-LLM 的實踐、騰訊樂享的 AI 功能探索

聯(lián)系作者

文章來源：Founder Park
作者微信：Founder-Park
作者簡介：來自極客公園，專注與科技創(chuàng)業(yè)者聊「真問題」。