GLM-4.5V – 智譜推出的最新一代視覺推理模型

GLM-4.5V是智譜AI推出的新一代視覺推理模型，基于106B參數規模構建，擁有12B激活能力，是目前領先的視覺語言模型。它在視覺理解、推理能力上表現卓越，適用于網頁前端復刻、圖尋游戲、視頻理解等場景。

GLM-4.5V：開啟多模態AI新篇章

您是否曾夢想過，只需一張網頁設計圖，就能瞬間生成前端代碼？或者，讓AI精準分析視頻內容，提取關鍵信息？現在，這一切不再是幻想。智譜AI傾力打造的GLM-4.5V，正以其強大的視覺推理能力，引領多模態AI應用的新潮流。

核心功能一覽

• 深度視覺理解與推理： 能夠深入理解圖像、視頻等視覺內容，執行復雜的視覺推理任務，例如識別物體、分析場景、理解人物關系等。
• 多模態無縫交互： 支持文本與視覺內容的融合處理，可以根據文本描述生成圖像，或根據圖像生成文本描述，實現跨模態信息的轉換。
• 網頁前端代碼生成： 輕松將網頁設計圖轉化為可用的前端代碼，加速網頁開發流程。
• 智能圖尋游戲： 支持在復雜場景中搜索和定位特定目標，為游戲開發、安防監控等領域提供強大支持。
• 視頻內容智能分析： 深度解析視頻內容，提取關鍵信息，實現視頻摘要、檢測等功能。
• 跨模態內容生成： 支持從視覺內容生成文本，或者從文本生成視覺內容，實現多模態內容的無縫轉換。

技術亮點

• 大規模預訓練： 基于106B參數的預訓練架構，通過海量的文本和視覺數據進行訓練，從而學言和視覺的聯合表示。
• 視覺語言深度融合： 采用Transformer架構，融合文本和視覺特征，通過交叉注意力機制實現文本與視覺信息的深度交互。
• 高效激活機制： 模型設計12B激活參數，在推理過程中動態激活相關的參數子集，從而提高計算效率和推理性能。
• 架構繼承與優化： 繼承GLM-4.1V-Thinking的優秀架構，并結合新一代文本基座模型GLM-4.5-Air進行訓練，進一步提升模型性能。
• 多任務靈活適配： 通過微調和優化，模型能適應多種多模態任務，如視覺問答、圖像描述生成、視頻理解等。

卓越性能表現

GLM-4.5V在各項基準測試中均展現出卓越的性能：

• 通用視覺問答： 在通用視覺問答任務中表現優異，尤其在MMBench v1.1基準測試中得分高達88.2。
• STEM領域： 在科學、技術、工程和數學相關任務中同樣表現出色，例如在MathVista測試中獲得84.6的高分。
• 長文檔與圖表處理： 在處理長文檔和圖表的OCRBench測試中，GLM-4.5V以86.5分的優異成績脫穎而出。
• 視覺定位： 在視覺定位任務上表現突出，RefCOCO+loc (val)測試得分為91.3。
• 空間推理： 在空間推理能力方面，GLM-4.5V在CV-Bench測試中取得87.3分的優異成績。
• 編程能力： 在編程任務中，GLM-4.5V在Design2Code基準測試中得分82.2，展現其在代碼生成和理解方面的強大能力。
• 視頻理解： 在視頻理解方面同樣表現出色，在VideoMME (w/o sub)測試中得分74.6。

產品官網

了解更多關于GLM-4.5V的信息，請訪問：

• GitHub倉庫： https://github.com/zai-org/GLM-V/
• HuggingFace模型庫： https://huggingface.co/collections/zai-org/glm-45v-68999032ddf8ecf7dcdbc102
• 技術論文： https://github.com/zai-org/GLM-V/tree/main/resources/GLM-4.5V_technical_report.pdf
• 桌面助手應用： https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App

應用場景

• 網頁設計到代碼的無縫轉換： 開發者只需上傳網頁設計圖，GLM-4.5V即可自動生成前端代碼，極大提高開發效率。
• 智能問答系統： 用戶上傳圖像并提出問題，模型即可根據圖像內容給出準確的答案，適用于教育、智能客服等領域。
• 游戲與安防領域的應用： 在復雜場景中快速定位目標圖像，為游戲開發、安防監控提供強大支持。
• 視頻內容分析與摘要： 自動分析視頻內容，提取關鍵信息，生成摘要或檢測，優化視頻推薦、編輯和監控。
• 圖像描述生成： 為上傳的圖像生成精準描述文本，輔助視障人士理解圖像，提升社交媒體分享體驗。

常見問題

Q: 如何開始使用GLM-4.5V？

A: 訪問 Z.ai 官網，注冊并登錄賬號。在模型選擇下拉框中選擇GLM-4.5V，即可體驗各項功能。

Q: GLM-4.5V的API調用價格是多少？

• 輸入：2 元/M tokens
• 輸出：6 元/M tokens

Q: GLM-4.5V的響應速度如何？

A: 達到 60-80 tokens/s。