清華開(kāi)源模型ChatGLM-6B可本地

ChatGLM-6B：開(kāi)源雙語(yǔ)對(duì)話(huà)語(yǔ)言模型 | An open bilingual dialogue language model
Github開(kāi)源鏈接：https://github.com/THUDM/ChatGLM-6B
“讓我們一起為中國(guó) ChatGLM 開(kāi)源模型的團(tuán)隊(duì)喝彩，期待他們帶來(lái)更多的技術(shù)創(chuàng)新！”
這是目前本站長(zhǎng)所搜集到的資料：

1、https://www.bilibili.com/video/BV1E24y1u7Go/
【ChatGLM】本地版ChatGPT？6G顯存可用！ChatGLM-6B 清華開(kāi)源模型一鍵包發(fā)布 可更新
2、https://mp.weixin.qq.com/s?__biz=Mzg4MDE3OTA5NA==&mid=2247571682&idx=1&sn=a6701c408477f8ead5ddb3822a966026
?ChatGLM：千億基座的對(duì)話(huà)模型啟動(dòng)內(nèi)測(cè)，單卡版模型已全面開(kāi)源

ChatGLM-6B 是一個(gè)開(kāi)源的、支持中英雙語(yǔ)的對(duì)話(huà)語(yǔ)言模型，基于?General Language Model (GLM)?架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶(hù)可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術(shù)，針對(duì)中文問(wèn)答和對(duì)話(huà)進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾⑷祟?lèi)反饋強(qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類(lèi)偏好的回答。更多信息請(qǐng)參考我們的博客。

• 充分的中英雙語(yǔ)預(yù)訓(xùn)練：ChatGLM-6B 在 1:1 比例的中英語(yǔ)料上訓(xùn)練了 1T 的 token 量，兼具雙語(yǔ)能力。
• 優(yōu)化的模型架構(gòu)和大小：吸取 GLM-130B 訓(xùn)練經(jīng)驗(yàn)，修正了二維 RoPE 位置編碼實(shí)現(xiàn)，使用傳統(tǒng) FFN 結(jié)構(gòu)。6B（62億）的參數(shù)大小，也使得研究者和個(gè)人開(kāi)發(fā)者自己微調(diào)和部署 ChatGLM-6B 成為可能。
• 較低的部署門(mén)檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費(fèi)級(jí)顯卡上。
• 更長(zhǎng)的序列長(zhǎng)度：相比 GLM-10B（序列長(zhǎng)度 1024），ChatGLM-6B 序列長(zhǎng)度達(dá) 2048，支持更長(zhǎng)對(duì)話(huà)和應(yīng)用。
• 人類(lèi)意圖對(duì)齊訓(xùn)練：使用了監(jiān)督微調(diào)（Supervised Fine-Tuning）、反饋?zhàn)灾‵eedback Bootstrap）、人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）等方式，使模型初具理解人類(lèi)指令意圖的能力。輸出格式為 markdown，方便展示。

不過(guò)，由于ChatGLM-6B的規(guī)模較小，目前已知其具有相當(dāng)多的局限性，如事實(shí)性/數(shù)學(xué)邏輯錯(cuò)誤，可能生成有害/有偏見(jiàn)內(nèi)容，較弱的上下文能力，自我認(rèn)知混亂，以及對(duì)英文指示生成與中文指示完全矛盾的內(nèi)容。請(qǐng)大家在使用前了解這些問(wèn)題，以免產(chǎn)生誤解。