萬字長文細說騰訊發布史上最大開源Moe：Hunyuan-Large(詳解版，建議收藏)

AIGC動態歡迎閱讀

原標題：萬字長文細說騰訊發布史上最大開源Moe：Hunyuan-Large(詳解版，建議收藏)
關鍵字：模型,數據,指令,專家,報告
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

大會預告12月5日-6日，2024中國生成式AI大會（上海站）將舉辦。上海科大助理教授、博導顧家遠，騰訊優圖實驗室天衍研究中心負責人吳賢，銀河通用機器人合伙人張直政，趣丸科技副總裁賈朔，曠視研究院高級研究員李華東已確認參會，將圍繞大模型、具身智能、AI視頻生成帶來分享，歡迎報名。簡介
預訓練
數據和分詞器
模型結構
預訓練
后訓練
監督微調SFT
基于人類反饋的強化學習
模型評估
預訓練模型評估
后訓練模型評估
長上下文能力評估
總結
01簡介Hunyuan-Large是目前(2024年11月)規模最大的開源Transformer混合專家模型(Moe)。該模型總共擁有3890億個參數和520億個激活參數，能夠處理長達256K個token的輸入。混元官方在各種基準測試上對Hunyuan-Large進行了全面評估，包括語言理解和生成、邏輯推理、數學問題解決、編程、長上下文和綜合任務，在這些任務中，Hunyuan-Large都優于LLama3.1-70B，并展現出與規模更大的LLama3.1-405B模型相當的性能。Hunyuan-Large的主要貢獻包括:
大規模的數據合成，且比之前文獻多

原文鏈接：萬字長文細說騰訊發布史上最大開源Moe：Hunyuan-Large(詳解版，建議收藏)