阿里安全大模型工程實踐、NVIDIA NIM 推理微服務解析 | 研討會直播預告

AIGC動態歡迎閱讀

原標題：阿里安全大模型工程實踐、NVIDIA NIM 推理微服務解析 | 研討會直播預告
關鍵字：模型,阿里,技術,策略,企業
文章來源：算法邦
內容字數：3717字

內容摘要：

5月16日19點，智猩猩將舉辦「企業級大模型工程實踐在線研討會」。阿里巴巴 AI 基礎架構工程師劉彬（花名：慧原）、NVIDIA軟件解決方案架構師吳金鐘兩位技術專家將分別做題為《阿里安全大模型工程實踐》、《NVIDIANIM推理微服務加速企業級生成式AI應用落地》的專題分享和線上答疑。演講介紹演講一：阿里安全大模型工程實踐
演講嘉賓：劉彬（花名：慧原），阿里巴巴 AI 基礎架構工程師
演講時間：5 月 16 日 19:00– 19:30
內容概要：
本演講將深入探討在阿里安全在大模型應用、特別是 Transformer 模型的工程實踐和優化策略。演講將從模型的結構分析、訓練、部署、推理優化、量化技術到未來規劃，向 AI 領域的工程師、研究人員和開發者，提供阿里安全團隊在大模型技術應用的階段性實踐成果分享。在具體實踐中，阿里安全采用 NVIDIA NeMo 框架和 TensorRT-LLM 顯著優化了模型訓練與推理性能。其中 NeMo 在多卡環境可實現 2-3 倍的訓練加速，TensorRT-LLM 結合 SmoothQuant Int8 可實現領先的推理加速比，動態批處理策略(Dyna

原文鏈接：阿里安全大模型工程實踐、NVIDIA NIM 推理微服務解析 | 研討會直播預告

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。