AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：騰訊大模型落地實(shí)操：模型推理引擎 TACO-LLM 的實(shí)踐、騰訊樂享的 AI 功能探索
關(guān)鍵字：騰訊,模型,序列,數(shù)據(jù),場(chǎng)景
文章來源：Founder Park
內(nèi)容字?jǐn)?shù)：17469字

內(nèi)容摘要：

大模型在今年的落地，除了對(duì)用 AI 對(duì)已有業(yè)務(wù)進(jìn)行改造和提效外，算力和推理的優(yōu)化，可能是另外一項(xiàng)重要的實(shí)踐了。這在騰訊的兩個(gè)完全不同的業(yè)務(wù)上有著明顯的體現(xiàn)。
推理成本是當(dāng)下大模型落地面臨的難題之一，整個(gè) AI 行業(yè)都在探索如何高效利用計(jì)算資源，并行處理更多的推理請(qǐng)求。國內(nèi)的云廠商也都在針對(duì)現(xiàn)有的推理構(gòu)架做優(yōu)化，甚至推出新的異構(gòu)算力的解決方案。騰訊此前推出了大模型推理加速引擎 Taco-LLM，表現(xiàn)全面優(yōu)于 vLLM 框架，吞吐性能相比前者及 TensorRT-LLM 提升 1-3 倍不等。
而騰訊樂享，作為騰訊內(nèi)部孵化并使用了十余年的知識(shí)管理、學(xué)習(xí)培訓(xùn)和文化構(gòu)建平臺(tái)，開始利用 AI 對(duì)知識(shí)管理進(jìn)行了深度改造，提效的同時(shí)也提高了知識(shí)的曝光、使用和迭代，AI 的加成甚至讓企業(yè)知識(shí)管理這個(gè)賽道從小眾成為了「熱門」。
在 4 月 2 日的 Workshop 上，我們邀請(qǐng)到了騰訊大模型相關(guān)業(yè)務(wù)的人員，來分享大模型在騰訊業(yè)務(wù)上的探索與實(shí)踐。本文整理自 Workshop 視頻，略有增刪。
分享嘉賓：
葉帆 騰訊云異構(gòu) AI 研發(fā)副總監(jiān)
沈林玲 騰訊樂享產(chǎn)品資深架構(gòu)師
李想 騰訊云互聯(lián)網(wǎng)行業(yè)架構(gòu)副總監(jiān)

原文鏈接：騰訊大模型落地實(shí)操：模型推理引擎 TACO-LLM 的實(shí)踐、騰訊樂享的 AI 功能探索

聯(lián)系作者

文章來源：Founder Park
作者微信：Founder-Park
作者簡(jiǎn)介：來自極客公園，專注與科技創(chuàng)業(yè)者聊「真問題」。