ChatGLM

ChatGLM-130B 是由 AI 編程助手「CodeGeex」背后的智譜 AI 團隊開發的 1300 億參數的開源的、支持中英雙語的對話語言模型。
GLM-130B 是一個開源開放的雙語（中文和英文）雙向稠密模型，擁有 1300 億參數，模型架構采用通用語言模型（GLM1）。它旨在支持在一臺 A100（40G * 8） 或 V100（32G * 8）服務器上對千億規模參數的模型進行推理。截至 2022 年 7 月 3 日，GLM-130B 已完成 4000 億個文本標識符（中文和英文各 2000 億）的訓練，它有以下獨特優勢：

• 雙語：同時支持中文和英文。
• 高精度（英文）： 在 LAMBADA 上優于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略優于 GPT-3 175B（+0.9%）。
• 高精度（中文）：在 7 個零樣本 CLUE 數據集（+24.26%）和 5 個零樣本 FewCLUE 數據集（+12.75%）上明顯優于 ERNIE TITAN 3.0 260B。
• 快速推理：支持用一臺 A100 服務器使用 SAT 和 FasterTransformer 進行快速推理（提速最高可達 2.5 倍）。
• 可復現性：所有結果（超過 30 個任務）均可通過我們的開源代碼和模型參數輕松復現。
• 跨平臺：支持在 NVIDIA、Hygon DCU、Ascend 910 和 Sunway 處理器上進行訓練與推理。