騰訊大模型落地實操：模型推理引擎 TACO-LLM 的實踐、騰訊樂享的 AI 功能探索

AIGC動態歡迎閱讀

原標題：騰訊大模型落地實操：模型推理引擎 TACO-LLM 的實踐、騰訊樂享的 AI 功能探索
關鍵字：騰訊,模型,序列,數據,場景
文章來源：Founder Park
內容字數：17469字

內容摘要：

大模型在今年的落地，除了對用 AI 對已有業務進行改造和提效外，算力和推理的優化，可能是另外一項重要的實踐了。這在騰訊的兩個完全不同的業務上有著明顯的體現。
推理成本是當下大模型落地面臨的難題之一，整個 AI 行業都在探索如何高效利用計算資源，并行處理更多的推理請求。國內的云廠商也都在針對現有的推理構架做優化，甚至推出新的異構算力的解決方案。騰訊此前推出了大模型推理加速引擎 Taco-LLM，表現全面優于 vLLM 框架，吞吐性能相比前者及 TensorRT-LLM 提升 1-3 倍不等。
而騰訊樂享，作為騰訊內部孵化并使用了十余年的知識管理、學習培訓和文化構建平臺，開始利用 AI 對知識管理進行了深度改造，提效的同時也提高了知識的曝光、使用和迭代，AI 的加成甚至讓企業知識管理這個賽道從小眾成為了「熱門」。
在 4 月 2 日的 Workshop 上，我們邀請到了騰訊大模型相關業務的人員，來分享大模型在騰訊業務上的探索與實踐。本文整理自 Workshop 視頻，略有增刪。
分享嘉賓：
葉帆 騰訊云異構 AI 研發副總監
沈林玲 騰訊樂享產品資深架構師
李想 騰訊云互聯網行業架構副總監

原文鏈接：騰訊大模型落地實操：模型推理引擎 TACO-LLM 的實踐、騰訊樂享的 AI 功能探索

聯系作者

文章來源：Founder Park
作者微信：Founder-Park
作者簡介：來自極客公園，專注與科技創業者聊「真問題」。