AIGC動態歡迎閱讀
原標題:純國產萬卡集群煉出萬億參數大模型,被這家央企率先做到了!
關鍵字:模型,中國電信,數據,報告,集群
文章來源:量子位
內容字數:0字
內容摘要:
金磊 發自 凹非寺量子位 | 公眾號 QbitAI首個由萬卡集群訓練出來的萬億參數大模型,被一家央企解鎖了。
具體而言,為純國產人工智能探索出這條路的正是中國電信人工智能研究院(TeleAI),是由中國電信集團 CTO、首席科學家、中國電信人工智能研究院院長李學龍教授帶領團隊完成。
據了解,訓練使用的萬卡集群由天翼云上海臨港國產萬卡算力池提供,并基于天翼云自研“息壤一體化智算服務平臺”和電信人工智能公司自研“星海 AI 平臺”的支持,可以實現萬億參數的常穩訓練,平均每周僅有1.5次訓練中斷,集群訓練穩定性達到國際領先水平。
而且基于此,TeleAI 還開源了由國產深度學習框架訓練的千億參數大模型——星辰語義大模型TeleChat2-115B。
TeleChat 是央企里首個開源的系列語義大模型,而 TeleChat2-115B 則在 TeleChat 的基礎上,通過對訓練數據量、數據質量和配比、模型架構等多維度的優化,取得了更進一步的效果提升!
在九月份的 C-Eval 評測 Open Access 模型綜合榜單中,TeleChat2-115B 以86.9分的成績,一舉拿下了榜單第一!
原文鏈接:純國產萬卡集群煉出萬億參數大模型,被這家央企率先做到了!
聯系作者
文章來源:量子位
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...