XVERSE 元象科技大語言模型

XVERSE-13B | 元象科技大語言模型官網

XVERSE-13B 是由深圳元象科技自主研發的支持多語言的大語言模型。

XVERSE-13B 是由深圳元象科技自主研發的支持多語言的大語言模型（Large Language Model），主要特點如下：

模型結構：XVERSE-13B 使用主流 Decoder-only 的標準 Transformer 網絡結構，支持 8K 的上下文長度（Context Length），為同尺寸模型中最長，能滿足更長的多輪對話、知識問答與摘要等需求，模型應用場景更廣泛。
• 訓練數據：構建了 1.4 萬億 token 的高質量、多樣化的數據對模型進行充分訓練，包含中、英、俄、西等 40 多種語言，通過精細化設置不同類型數據的采樣比例，使得中英兩種語言表現優異，也能兼顧其他語言效果。
• 分詞：基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 語料訓練了一個詞表大小為 100,278 的分詞器，能夠同時支持多語言，而無需額外擴展詞表。
• 訓練框架：自主研發多項關鍵技術，包括高效算子、顯存優化、并行調度策略、數據-計算-通信重疊、平臺和框架協同等，讓訓練效率更高，模型穩定性強，在千卡集群上的峰值算力利用率可達到 58.5%，位居業界前列。

XVERSE-13B | 元象科技大語言模型網址入口

https://github.com/xverse-ai/XVERSE-13B

OpenI小編發現XVERSE-13B | 元象科技大語言模型網站非常受用戶歡迎，請訪問XVERSE-13B | 元象科技大語言模型網址入口試用。