萬字長文細說騰訊發(fā)布史上最大開源Moe：Hunyuan-Large(詳解版，建議收藏)

AIGC動態(tài)歡迎閱讀

原標題：萬字長文細說騰訊發(fā)布史上最大開源Moe：Hunyuan-Large(詳解版，建議收藏)
關鍵字：模型,數(shù)據(jù),指令,專家,報告
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

大會預告12月5日-6日，2024中國生成式AI大會（上海站）將舉辦。上?？拼笾斫淌?、博導顧家遠，騰訊優(yōu)圖實驗室天衍研究中心負責人吳賢，銀河通用機器人合伙人張直政，趣丸科技副總裁賈朔，曠視研究院高級研究員李華東已確認參會，將圍繞大模型、具身智能、AI視頻生成帶來分享，歡迎報名。簡介
預訓練
數(shù)據(jù)和分詞器
模型結(jié)構(gòu)
預訓練
后訓練
監(jiān)督微調(diào)SFT
基于人類反饋的強化學習
模型評估
預訓練模型評估
后訓練模型評估
長上下文能力評估
總結(jié)
01簡介Hunyuan-Large是目前(2024年11月)規(guī)模最大的開源Transformer混合專家模型(Moe)。該模型總共擁有3890億個參數(shù)和520億個激活參數(shù)，能夠處理長達256K個token的輸入?；煸俜皆诟鞣N基準測試上對Hunyuan-Large進行了全面評估，包括語言理解和生成、邏輯推理、數(shù)學問題解決、編程、長上下文和綜合任務，在這些任務中，Hunyuan-Large都優(yōu)于LLama3.1-70B，并展現(xiàn)出與規(guī)模更大的LLama3.1-405B模型相當?shù)男阅?。Hunyuan-Large的主要貢獻包括:
大規(guī)模的數(shù)據(jù)合成，且比之前文獻多

原文鏈接：萬字長文細說騰訊發(fā)布史上最大開源Moe：Hunyuan-Large(詳解版，建議收藏)

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：