CogView4

CogView4 – 智譜開源的AI文生圖模型，支持生成漢字

CogView4 是智譜科技推出的一款開源文生圖模型，擁有 60 億個參數，具備原生中文輸入與中文文字生成的能力。該模型在 DPG-Bench 基準測試中表現優異，綜合評分位列第一，成為開源文生圖模型領域的最新標桿（SOTA）。

CogView4是什么

CogView4 是智譜科技推出的開源文生圖模型，具備 60 億參數，能夠支持原生中文輸入及文字生成。作為首個遵循 Apache 2.0 協議的圖像生成模型，CogView4 不僅支持任意分辨率的圖像生成，還能根據復雜的文本描述生成高質量的圖像。

CogView4的主要功能

• 支持中英雙語輸入：CogView4 是首個支持漢字生成的開源文生圖模型，可以根據中文或英文輸入生成高質量圖像。
• 任意分辨率圖像生成：該模型能夠生成分辨率范圍從 512×512 到 2048×2048 的圖像，滿足多種創作需求。
• 卓越的語義對齊能力：在 DPG-Bench 基準測試中，CogView4 綜合評分名列前茅，顯示出其在復雜語義對齊及指令遵循方面的出色表現。
• 中文文字繪畫：CogView4 特別優化了漢字生成能力，能夠將漢字自然融入圖像，適合廣告、短視頻等創意應用。
• 顯存優化與高效推理：通過模型 CPU 卸載和文本編碼器量化等技術，CogView4 顯著降低了顯存使用，提高了推理效率。

CogView4的技術原理

• 架構設計：CogView4 結合了擴散模型與 Transformer 的架構。擴散模型通過逐步去噪生成圖像，而 Transformer 則負責處理文本和圖像的聯合表示。該模型使用了 6B 參數配置，支持任意長度的文本輸入與任意分辨率的圖像生成。
• 文本編碼器與 Tokenizer：CogView4 采用了雙語（中英文）的 GLM-4 編碼器，能夠處理復雜的語義對齊任務。文本通過 Tokenizer 轉化為嵌入向量，隨后與圖像的潛在表示結合。
• 圖像編碼與解碼：圖像通過變分自編碼器（VAE）編碼成潛在空間的表示，隨后通過擴散模型逐步去噪生成最終圖像，從而高效處理圖像生成任務。
• 擴散過程與去噪：擴散模型的核心是通過一系列去噪步驟逐步生成圖像。CogView4 利用 FlowMatch Euler Discrete Scheduler 控制去噪過程，用戶可以通過調整去噪步數（num_inference_steps）來平衡生成質量與速度。
• 多階段訓練策略：CogView4 采用多階段訓練策略，包括基礎分辨率訓練、泛分辨率訓練、高質量數據微調和人類偏好對齊訓練，確保生成圖像的高質量與美感。
• 優化與效率：為了提升訓練與推理效率，CogView4 采用了顯存優化技術，如模型 CPU 卸載和文本編碼器量化。該模型支持 Apache 2.0 協議，以便于開源社區的進一步開發。

CogView4的項目地址

• Github 倉庫：https://github.com/THUDM/CogView4
• HuggingFace 模型庫：https://huggingface.co/THUDM/CogView4-6B

CogView4的官方案例

• 超長故事（四格漫畫）：請生成一張包含四個場景的四格漫畫圖，采用動漫插畫風格的連環畫。主要角色包括：小明：勇敢的人類男孩，手持寶劍，身穿簡易戰士服；公主：美麗優雅的人類女性，身著華麗公主服飾，被囚禁在怪獸的巢穴；：威嚴而仁慈的人類男性，身穿華麗的王者服飾，坐在王國的寶座上；火焰龍：覆蓋火焰鱗片的怪獸，口吐火焰，體型龐大；黑暗魔王：巨大怪獸，籠罩在黑暗中，擁有強大的魔法力量。

• CogView4 能將中英文字符自然地融入畫面，使海報和文案配圖的創作變得更加便捷。

• 擅長理解和遵循中文提示詞，例如能夠描繪出古詩文中的意境。

CogView4的應用場景

• 廣告與創意設計：CogView4 能將中英文字符自然融入圖像，生成高質量的海報和文案配圖，滿足廣告及創意設計的需求。
• 教育資源生成：該模型可以為教育領域生成教學插圖、科學插圖等，幫助學生更好地理解和吸收知識。
• 兒童繪本創作：CogView4 能生成適合兒童繪本的插圖，激發兒童的想象力。
• 電商與內容創作：生成高質量的產品圖片和廣告海報，幫助商家快速創建吸引人的視覺內容。
• 個性化定制：根據用戶需求生成定制化的圖像內容，提升用戶體驗。