純國(guó)產(chǎn)萬(wàn)卡集群煉出萬(wàn)億參數(shù)大模型，被這家央企率先做到了！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：純國(guó)產(chǎn)萬(wàn)卡集群煉出萬(wàn)億參數(shù)大模型，被這家央企率先做到了！
關(guān)鍵字：模型,中國(guó)電信,數(shù)據(jù),報(bào)告,集群
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

金磊發(fā)自凹非寺量子位 | 公眾號(hào) QbitAI首個(gè)由萬(wàn)卡集群訓(xùn)練出來(lái)的萬(wàn)億參數(shù)大模型，被一家央企解鎖了。
具體而言，為純國(guó)產(chǎn)人工智能探索出這條路的正是中國(guó)電信人工智能研究院（TeleAI），是由中國(guó)電信集團(tuán) CTO、首席科學(xué)家、中國(guó)電信人工智能研究院院長(zhǎng)李學(xué)龍教授帶領(lǐng)團(tuán)隊(duì)完成。
據(jù)了解，訓(xùn)練使用的萬(wàn)卡集群由天翼云上海臨港國(guó)產(chǎn)萬(wàn)卡算力池提供，并基于天翼云自研“息壤一體化智算服務(wù)平臺(tái)”和電信人工智能公司自研“星海 AI 平臺(tái)”的支持，可以實(shí)現(xiàn)萬(wàn)億參數(shù)的常穩(wěn)訓(xùn)練，平均每周僅有1.5次訓(xùn)練中斷，集群訓(xùn)練穩(wěn)定性達(dá)到國(guó)際領(lǐng)先水平。
而且基于此，TeleAI 還開(kāi)源了由國(guó)產(chǎn)深度學(xué)習(xí)框架訓(xùn)練的千億參數(shù)大模型——星辰語(yǔ)義大模型TeleChat2-115B。
TeleChat 是央企里首個(gè)開(kāi)源的系列語(yǔ)義大模型，而 TeleChat2-115B 則在 TeleChat 的基礎(chǔ)上，通過(guò)對(duì)訓(xùn)練數(shù)據(jù)量、數(shù)據(jù)質(zhì)量和配比、模型架構(gòu)等多維度的優(yōu)化，取得了更進(jìn)一步的效果提升！
在九月份的 C-Eval 評(píng)測(cè) Open Access 模型綜合榜單中，TeleChat2-115B 以86.9分的成績(jī)，一舉拿下了榜單第一！

原文鏈接：純國(guó)產(chǎn)萬(wàn)卡集群煉出萬(wàn)億參數(shù)大模型，被這家央企率先做到了！