清華開源模型ChatGLM-6B可本地

ChatGLM-6B：開源雙語對話語言模型 | An open bilingual dialogue language model
Github開源鏈接：https://github.com/THUDM/ChatGLM-6B
“讓我們一起為中國 ChatGLM 開源模型的團隊喝彩，期待他們帶來更多的技術創新！”
這是目前本站長所搜集到的資料：

1、https://www.bilibili.com/video/BV1E24y1u7Go/
【ChatGLM】本地版ChatGPT？6G顯存可用！ChatGLM-6B 清華開源模型一鍵包發布 可更新
2、https://mp.weixin.qq.com/s?__biz=Mzg4MDE3OTA5NA==&mid=2247571682&idx=1&sn=a6701c408477f8ead5ddb3822a966026
?ChatGLM：千億基座的對話模型啟動內測，單卡版模型已全面開源

ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型，基于?General Language Model (GLM)?架構，具有 62 億參數。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署（INT4 量化級別下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術，針對中文問答和對話進行了優化。經過約 1T 標識符的中英雙語訓練，輔以監督微調、反饋自助、人類反饋強化學習等技術的加持，62 億參數的 ChatGLM-6B 已經能生成相當符合人類偏好的回答。更多信息請參考我們的博客。

• 充分的中英雙語預訓練：ChatGLM-6B 在 1:1 比例的中英語料上訓練了 1T 的 token 量，兼具雙語能力。
• 優化的模型架構和大小：吸取 GLM-130B 訓練經驗，修正了二維 RoPE 位置編碼實現，使用傳統 FFN 結構。6B（62億）的參數大小，也使得研究者和個人開發者自己微調和部署 ChatGLM-6B 成為可能。
• 較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進行推理，結合模型量化技術，這一需求可以進一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費級顯卡上。
• 更長的序列長度：相比 GLM-10B（序列長度 1024），ChatGLM-6B 序列長度達 2048，支持更長對話和應用。
• 人類意圖對齊訓練：使用了監督微調（Supervised Fine-Tuning）、反饋自助（Feedback Bootstrap）、人類反饋強化學習（RLHF）等方式，使模型初具理解人類指令意圖的能力。輸出格式為 markdown，方便展示。

不過，由于ChatGLM-6B的規模較小，目前已知其具有相當多的局限性，如事實性/數學邏輯錯誤，可能生成有害/有偏見內容，較弱的上下文能力，自我認知混亂，以及對英文指示生成與中文指示完全矛盾的內容。請大家在使用前了解這些問題，以免產生誤解。