ChatGLM

ChatGLM官網

ChatGLM，清華技術，智譜AI開源的GLM系列的對話模型

網站服務：ai工具導航，ai大模型，Cha116;71;LM。

ChatGLM簡介

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 開源雙語對話語言模型 – THUDM/ChatGLM-6B

ChatGLM官網，清華技術，智譜AI開源的GLM系列的對話模型

什么是ChatGLM?

ChatGLM 是智譜AI公司基于清華技術成果轉化而開源的對話模型系列，支持中英兩種語言。目前，該系列開源了規模為62億參數的模型。這些模型在繼承了GLM的優勢基礎上進行了架構優化，降低了部署和應用的門檻，使得大型模型可以在消費級顯卡上進行推理應用。

ChatGLM官網: https://chatglm.cn/

github項目網址: (安裝和使用教程請看官方介紹)

https://github.com/THUDM/ChatGLM-6B

從技術路線的角度來看，ChatGLM 實現了強化學習人類對齊策略，使得生成的對話效果更加貼近人類的價值觀。目前，它的能力領域主要包括自我認知、提綱寫作、文案寫作、郵件寫作助手、信息抽取、角色扮演、評論比較、旅游建議等。此外，ChatGLM 還開發了一個正在內測的超大模型，參數規模達到了1300億，這在當前的開源對話模型中屬于較大規模。

ChatGLM 的開源為研究人員和開發者提供了一個強大的工具，可以用于各種對話場景和應用。它的性能和規模使得它成為處理復雜對話任務和生成高質量對話的理想選擇。隨著ChatGLM的不斷發展和改進，我們可以期待更多創新和應用在對話系統領域的實現。

詳細介紹

ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型，基于?General Language Model (GLM)?架構，具有 62 億參數。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署（INT4 量化級別下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術，針對中文問答和對話進行了優化。經過約 1T 標識符的中英雙語訓練，輔以監督微調、反饋自助、人類反饋強化學習等技術的加持，62 億參數的 ChatGLM-6B 已經能生成相當符合人類偏好的回答，更多信息請參考我們的博客。

為了方便下游開發者針對自己的應用場景定制模型，我們同時實現了基于?P-Tuning v2?的高效參數微調方法?(使用指南)?，INT4 量化級別下最低只需 7GB 顯存即可啟動微調。

想讓 ChatGLM-6B 更符合你的應用場景？歡迎參與?Badcase 反饋計劃。

---

ChatGLM-6B 開源模型旨在與開源社區一起推動大模型技術發展，懇請開發者和大家遵守開源協議，勿將開源模型和代碼及基于開源項目產生的衍生物用于任何可能給國家和社會帶來危害的用途以及用于任何未經過安全評估和備案的服務。目前，本項目團隊未基于 ChatGLM-6B 開發任何應用，包括網頁端、安卓、蘋果 iOS 及 Windows App 等應用。

盡管模型在訓練的各個階段都盡力確保數據的合規性和準確性，但由于 ChatGLM-6B 模型規模較小，且模型受概率隨機性因素影響，無法保證輸出內容的準確性，且模型易被誤導（詳見局限性）。本項目不承擔開源模型和代碼導致的數據安全、輿情風險或發生任何模型被誤導、濫用、傳播、不當利用而產生的風險和責任。

使用方式

硬件需求

量化等級	最低 GPU 顯存（推理）	最低 GPU 顯存（高效參數微調）
FP16（無量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

環境安裝

使用 pip 安裝依賴：pip install -r requirements.txt，其中?transformers?庫版本推薦為?4.27.1，但理論上不低于?4.23.1?即可。

此外，如果需要在 cpu 上運行量化后的模型，還需要安裝?gcc?與?openmp。多數 Linux 發行版默認已安裝。對于 Windows ，可在安裝?TDM-GCC?時勾選?openmp。 Windows 測試環境?gcc?版本為?TDM-GCC 10.3.0， Linux 為?gcc 11.3.0。在 MacOS 上請參考?Q1。

代碼調用

可以通過如下代碼調用 ChatGLM-6B 模型來生成對話：

>>> from transformers import AutoTokenizer， AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b"， trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b"， trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response， history = model.chat(tokenizer， "你好"， history=[])
>>> print(response)
你好??!我是人工智能助手 ChatGLM-6B，很高興見到你，歡迎問我任何問題。
>>> response， history = model.chat(tokenizer， "晚上睡不著應該怎么辦"， history=history)
>>> print(response)
晚上睡不著可能會讓你感到焦慮或不舒服，但以下是一些可以幫助你入睡的方法:

1. 制定規律的睡眠時間表:保持規律的睡眠時間表可以幫助你建立健康的睡眠習慣，使你更容易入睡。盡量在每天的相同時間上床，并在同一時間起床。
2. 創造一個舒適的睡眠環境:確保睡眠環境舒適，安靜，黑暗且溫度適宜。可以使用舒適的床上用品，并保持房間通風。
3. 放松身心:在睡前做些放松的活動，例如泡個熱水澡，聽些輕柔的音樂，閱讀一些有趣的書籍等，有助于緩解緊張和焦慮，使你更容易入睡。
4. 避免飲用含有咖啡因的飲料:咖啡因是一種刺激性物質，會影響你的睡眠質量。盡量避免在睡前飲用含有咖啡因的飲料，例如咖啡，茶和可樂。
5. 避免在床上做與睡眠無關的事情:在床上做些與睡眠無關的事情，例如看電影，玩游戲或工作等，可能會干擾你的睡眠。
6. 嘗試呼吸技巧:深呼吸是一種放松技巧，可以幫助你緩解緊張和焦慮，使你更容易入睡。試著慢慢吸氣，保持幾秒鐘，然后緩慢呼氣。

如果這些方法無法幫助你入睡，你可以考慮咨詢醫生或睡眠專家，尋求進一步的建議。

模型的實現仍然處在變動中。如果希望固定使用的模型實現以保證兼容性，可以在?from_pretrained?的調用中增加?revision="v1.1.0"?參數。v1.1.0?是當前最新的版本號，完整的版本列表參見?Change Log。

從本地加載模型

以上代由?transformers?自動下載模型實現和參數。完整的模型實現可以在?Hugging Face Hub。如果你的網絡環境較差，下載模型參數可能會花費較長時間甚至失敗。此時可以先將模型下載到本地，然后從本地加載。

從 Hugging Face Hub 下載模型需要先安裝Git LFS，然后運行

git clone https://huggingface.co/THUDM/chatglm-6b

如果你從 Hugging Face Hub 上下載 checkpoint 的速度較慢，可以只下載模型實現

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

然后從這里手動下載模型參數文件，并將下載的文件替換到本地的?chatglm-6b?目錄下。

將模型下載到本地之后，將以上代碼中的?THUDM/chatglm-6b?替換為你本地的?chatglm-6b?文件夾的路徑，即可從本地加載模型。

Optional?模型的實現仍然處在變動中。如果希望固定使用的模型實現以保證兼容性，可以執行

git checkout v1.1.0

Demo & API

我們提供了一個基于?Gradio?的網頁版 Demo 和一個命令行 Demo。使用時首先需要下載本倉庫：

git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B

ChatGLM官網入口網址

https://github.com/THUDM/ChatGLM-6B

OpenI小編發現ChatGLM網站非常受用戶歡迎，請訪問ChatGLM網址入口試用。