商湯科技研究副總監龔睿昊：大語言模型量化和 LightLLM 高性能推理部署系統設計

AIGC動態歡迎閱讀

原標題：商湯科技研究副總監龔睿昊：大語言模型量化和 LightLLM 高性能推理部署系統設計

關鍵字：模型,商湯,用戶,系統,高效

文章來源：智東西

內容字數：1903字

內容摘要：12月5日上午10點，智猩猩AI教研組推出「大模型微調與推理部署線上閉門會」。閉門會由北京航空航天大學人工智能研究院助理教授郭晉陽參與出品。Monash University 長聘助理教授莊博涵、麻省理工學院在讀博士朱力耕和商湯科技研究副總監龔睿昊將參與主講。其中，龔睿昊博士將圍繞主題《大語言模型量化和 LightLLM 高性能推理部署系統設計》進行直播講解。大語言模型動輒上千億的參數量對于各種平臺的高效、低成本部署帶來了更大挑戰。模型量化和高效的推理系統設計成為提高 LLM 推理效率的關鍵。本次閉門會，龔睿昊將分享 Outlier Suppression 大語言模型量化系列方法和基于 LightLLM 的高性能推理部署系統 ，全面介紹實現極致性能和吞吐的算法與系統設計。龔睿昊是商湯科技研究副總監、模型工具鏈團隊負責人，主要負責工業級模型工具鏈，包括大規模模型訓練、多平臺部署、模型壓縮和軟…

原文鏈接：點此閱讀原文：商湯科技研究副總監龔睿昊：大語言模型量化和 LightLLM 高性能推理部署系統設計

聯系作者

文章來源：智東西

作者微信：zhidxcom

作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。