XVERSE 元象科技大語言模型

XVERSE-13B | 元象科技大語言模型官網(wǎng)

XVERSE-13B 是由深圳元象科技自主研發(fā)的支持多語言的大語言模型。

XVERSE-13B 是由深圳元象科技自主研發(fā)的支持多語言的大語言模型（Large Language Model），主要特點(diǎn)如下：

模型結(jié)構(gòu)：XVERSE-13B 使用主流 Decoder-only 的標(biāo)準(zhǔn) Transformer 網(wǎng)絡(luò)結(jié)構(gòu)，支持 8K 的上下文長度（Context Length），為同尺寸模型中最長，能滿足更長的多輪對(duì)話、知識(shí)問答與摘要等需求，模型應(yīng)用場景更廣泛。
• 訓(xùn)練數(shù)據(jù)：構(gòu)建了 1.4 萬億 token 的高質(zhì)量、多樣化的數(shù)據(jù)對(duì)模型進(jìn)行充分訓(xùn)練，包含中、英、俄、西等 40 多種語言，通過精細(xì)化設(shè)置不同類型數(shù)據(jù)的采樣比例，使得中英兩種語言表現(xiàn)優(yōu)異，也能兼顧其他語言效果。
• 分詞：基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 語料訓(xùn)練了一個(gè)詞表大小為 100,278 的分詞器，能夠同時(shí)支持多語言，而無需額外擴(kuò)展詞表。
• 訓(xùn)練框架：自主研發(fā)多項(xiàng)關(guān)鍵技術(shù)，包括高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù)-計(jì)算-通信重疊、平臺(tái)和框架協(xié)同等，讓訓(xùn)練效率更高，模型穩(wěn)定性強(qiáng)，在千卡集群上的峰值算力利用率可達(dá)到 58.5%，位居業(yè)界前列。

XVERSE-13B | 元象科技大語言模型網(wǎng)址入口

https://github.com/xverse-ai/XVERSE-13B

OpenI小編發(fā)現(xiàn)XVERSE-13B | 元象科技大語言模型網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問XVERSE-13B | 元象科技大語言模型網(wǎng)址入口試用。