星辰語義大模型官網(wǎng)

2024年1月，中國電信正式開源星辰語義大模型-7B，同時開源的還有超 1T 的高質(zhì)量清洗基礎(chǔ)數(shù)據(jù)。

開源項目鏈接地址：

• https://openi.pcl.ac.cn/openihu/tele-chat
• https://gitee.com/Tele-AI/tele-chat
• https://github.com/Tele-AI/Telechat
• https://huggingface.co/Tele-AI/telechat-7B

星辰語義大模型的開源方案

在千億參數(shù)大模型發(fā)布之前，星辰語義大模型已經(jīng)具備了多版本穩(wěn)定可用的大模型基座，覆蓋 3B、7B、12B 和 130B 等參數(shù)量級。大模型采用純自研方式，AI 團隊選用解碼器架構(gòu)（ decoder-only ）并在模型維度做了一些創(chuàng)新和改進。經(jīng)過數(shù)十版模型訓(xùn)練與優(yōu)化，模型的穩(wěn)定性和推理速度都得到了明顯提升。

根據(jù)開源服務(wù)的對象不同，星辰語義大模型的開源方案也分兩種——對內(nèi)方案和對外方案。對外方案中，7B 模型在 Gitee 和 Github 同步開源，支持商用。對內(nèi)方案中，開源對象包括 3B、7B 和 12B 模型。代碼在研發(fā)云進行托管。模型使用二方包方式進行托管，權(quán)限采用項目申請關(guān)聯(lián)方式。

開源的模型數(shù)量和時間有所不同，但開源內(nèi)容并無區(qū)別。比如，提供基礎(chǔ)模型以及基于相應(yīng)版本的對話模型、不僅支持傳統(tǒng)的全量參數(shù)更新還支持 LoRA 等只更新部分參數(shù)的高效微調(diào)方法、支持 deepspeed 微調(diào)、支持 int8、int4 量化和昇騰卡訓(xùn)練推理。

長文本處理是星辰語義大模型的一個亮點。開源模型支持外推長度達 96K，有助于模型在訓(xùn)練與推理階段捕獲更多上下文信息，特別是在引入外部知識做搜索增強的應(yīng)用場景。

同時開放的還有超 1T 高質(zhì)量清洗的基礎(chǔ)數(shù)據(jù)，是由星辰大模型預(yù)訓(xùn)練語料中抽取出的綜合性大規(guī)模中文數(shù)據(jù)集。數(shù)據(jù)主要來源于網(wǎng)頁、書籍、官方媒體等媒介，數(shù)據(jù)集大約公開了 2.7 億條數(shù)據(jù)，由純中文文本構(gòu)成。據(jù)電信 AI 透露，這些數(shù)據(jù)在 7B、12B 還有未來開源的千億級大模型都會用到。

相關(guān)新聞：

• 央企第一家：中國電信開源星辰語義大模型，共享超1T高質(zhì)基礎(chǔ)數(shù)據(jù) – OpenI（機器之心報道）

星辰語義大模型開源交流群

星辰大模型矩陣

星辰語義大模型-3B并不在開源的對外方案中

星辰語義大模型通用能力一覽

中國電信正式發(fā)布星辰語義大模型

2023 年數(shù)字科技生態(tài)大會人工智能與數(shù)據(jù)產(chǎn)業(yè)發(fā)展合作論壇論壇上，中國電信正式發(fā)布了”星辰語義大模型“的千億參數(shù)版本，在推理和回答準確性方面都有顯著提升，并將上下文窗口提到了 96K Token。中國電信首次提出了緩解多輪幻覺的解決方案，使得大模型的幻覺率降低了 40%。

與此同時，中國電信還宣布將加入到開源開放的行列中，預(yù)計今年年底開源百億級別的大模型，明年 4 月則會開源千億級別的大模型，旨在讓更多研究者和開發(fā)者從中受益。此外，中國電信還將根據(jù)星辰大模型構(gòu)建各種工具鏈，以滿足不同用戶的需求。

多輪幻覺的解決方案

中國電信千億參數(shù)星辰語義大模型在業(yè)界首次提出了緩解多輪幻覺的解決方案，將模型幻覺率降低了 40%。這一方案包括四項關(guān)鍵技術(shù)：

關(guān)鍵信息注意力增強技術(shù)：通過對關(guān)鍵信息進行注意力增強，可以提升模型理解能力和答案回復(fù)一致性的能力，較大程度緩解模型幻覺問題；
知識圖譜強化：通過知識圖譜確保訓(xùn)練數(shù)據(jù)集知識事實性，并通過知識圖譜知識提示能力輔助模型知識問答能力提升，大幅降低模型幻覺，提高通用問答準確率。
多輪知識記憶和強化技術(shù)：通過采用更優(yōu)模型知識記憶方案，以及關(guān)聯(lián)信息的強化訓(xùn)練方案，增強了模型上下文記憶能力和關(guān)聯(lián)知識理解能力，增強了上下文回復(fù)一致性，降低了模型幻覺問題；
知識溯源能力：通過多種湖源方式，關(guān)聯(lián)問題相關(guān)參考出處，生成答案更加可靠。