騰訊混元又來開源，一出手就是最大MoE大模型

AIGC動態歡迎閱讀

原標題：騰訊混元又來開源，一出手就是最大MoE大模型
關鍵字：騰訊,模型,數據,專家,路由
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com隨著人工智能技術的快速發展，大型語言模型（LLMs）在自然語言處理、計算機視覺和科學任務等領域取得了顯著進展。然而，隨著模型規模的擴大，如何在保持高性能的同時優化資源消耗成為關鍵挑戰。為了應對這一挑戰，騰訊混元團隊率先采用混合專家（MoE）模型架構，最新發布的 Hunyuan-Large（Hunyuan-MoE-A52B）模型，是目前業界已經開源的基于 Transformer 的最大 MoE 模型，擁有 389B 總參數和 52B 激活參數。
本次騰訊混元 – Large 共計開源三款模型：Hunyuan-A52B-Pretrain，Hunyuan-A52B-Instruct 和 Hunyuan-A52B-FP8，可支持企業及開發者精調、部署等不同場景的使用需

原文鏈接：騰訊混元又來開源，一出手就是最大MoE大模型

聯系作者

文章來源：機器之心
作者微信：
作者簡介：