dots.vlm1 – 小紅書hi lab開源的首個多模態(tài)大模型

dots.vlm1 是小紅書 hi lab 開源的首個多模態(tài)大模型，擁有出色的視覺感知和文本推理能力。它基于從零訓(xùn)練的 12 億參數(shù)視覺編碼器 NaViT 和 DeepSeek V3 大語言模型，在視覺理解和推理任務(wù)上表現(xiàn)優(yōu)異，同時在文本任務(wù)上也保持著競爭力。

### 探索 dots.vlm1：開啟多模態(tài)新篇章

dots.vlm1，作為小紅書 hi lab 傾力打造的首款多模態(tài)大模型，引領(lǐng)著視覺與語言融合的新潮流。它并非基于現(xiàn)有模型微調(diào)，而是從零開始構(gòu)建，融合了先進的視覺編碼器 NaViT 和強大的 DeepSeek V3 大語言模型，賦予了模型卓越的視覺感知與文本理解能力。

### 核心功能一覽

* **精湛的視覺理解力**： 能夠精準(zhǔn)識別和解讀圖像內(nèi)容，無論是復(fù)雜的圖表、表格、文檔，還是各種圖形，都能輕松應(yīng)對，并支持動態(tài)分辨率，滿足多樣化的視覺任務(wù)需求。
* **高效的文本生成與推理**： 依托 DeepSeek V3 LLM，dots.vlm1 能夠生成高質(zhì)量的文本描述，在數(shù)學(xué)、代碼等文本推理任務(wù)中展現(xiàn)出卓越的實力。
* **無縫的多模態(tài)數(shù)據(jù)處理**： 支持圖文交錯的數(shù)據(jù)處理，能夠融合視覺和文本信息進行綜合推理，為多模態(tài)應(yīng)用場景提供了無限可能。
* **靈活的適配與擴展**： 通過輕量級 MLP 適配器，dots.vlm1 實現(xiàn)了視覺編碼器與語言模型的完美連接，方便在不同任務(wù)中進行靈活適配和功能擴展。
* **開放的開源生態(tài)**： 完整的開源代碼和模型，助力開發(fā)者進行研究和應(yīng)用開發(fā)，共同推動多模態(tài)技術(shù)的蓬勃發(fā)展。

### 技術(shù)亮點解析

* **NaViT 視覺編碼器**： dots.vlm1 采用了從零開始訓(xùn)練的 12 億參數(shù)視覺編碼器 NaViT，該編碼器原生支持動態(tài)分辨率，并結(jié)合了文本監(jiān)督和純視覺監(jiān)督，從而顯著提升了對圖像的感知能力。
* **多模態(tài)數(shù)據(jù)訓(xùn)練**： 模型通過多樣化的多模態(tài)訓(xùn)練數(shù)據(jù)進行錘煉，涵蓋普通圖像、復(fù)雜圖表、表格、文檔、圖形等，以及對應(yīng)的文本描述。通過引入合成數(shù)據(jù)和優(yōu)化數(shù)據(jù)質(zhì)量，顯著提升了模型的多模態(tài)理解能力。
* **視覺與語言模型的深度融合**： dots.vlm1 將視覺編碼器與 DeepSeek V3 大語言模型（LLM）巧妙結(jié)合，通過輕量級 MLP 適配器實現(xiàn)無縫連接，從而高效處理多模態(tài)任務(wù)。
* **三階段訓(xùn)練流程**： 模型訓(xùn)練分為視覺編碼器預(yù)訓(xùn)練、VLM 預(yù)訓(xùn)練和 VLM 后訓(xùn)練三個階段，通過逐步提升圖像分辨率和引入多樣化的訓(xùn)練數(shù)據(jù)，增強模型的泛化能力和多模態(tài)任務(wù)處理能力。

### 官方資源鏈接

* **GitHub 倉庫**：[https://github.com/rednote-hilab/dots.vlm1](https://github.com/rednote-hilab/dots.vlm1)
* **Hugging Face 模型庫**：[https://huggingface.co/rednote-hilab/dots.vlm1.inst](https://huggingface.co/rednote-hilab/dots.vlm1.inst)
* **在線體驗Demo**：[https://huggingface.co/spaces/rednote-hilab/dots-vlm1-demo](https://huggingface.co/spaces/rednote-hilab/dots-vlm1-demo)

### 應(yīng)用場景展望

* **復(fù)雜圖表分析**： dots.vlm1 能夠深入分析復(fù)雜的圖表，幫助用戶更好地理解和解讀圖表中的信息。
* **STEM 領(lǐng)域解題**： 在科學(xué)、技術(shù)、工程和數(shù)學(xué)（STEM）領(lǐng)域，模型可以輔助解決相關(guān)問題，提供解題思路。
* **長尾識別**： 對于一些出現(xiàn)頻率較低的類別或?qū)ο?，dots.vlm1 也能精準(zhǔn)識別。
* **視覺推理**： 能夠處理涉及視覺信息的推理任務(wù)，如障礙物識別、商品比較分析等。
* **圖文問答互動**： 支持圖文結(jié)合的問答任務(wù)，實現(xiàn)多輪對話，并根據(jù)上下文給出連貫的回答。
* **內(nèi)容推薦**： 基于多模態(tài)數(shù)據(jù)，為用戶提供個性化的內(nèi)容推薦，如在小紅書平臺上推薦相關(guān)的圖文或視頻。

### 常見問題解答

**Q: dots.vlm1 的優(yōu)勢是什么？**

A: dots.vlm1 具備強大的視覺理解和文本推理能力，在視覺理解和推理任務(wù)上表現(xiàn)出色，接近閉源 SOTA 模型水平，同時在文本任務(wù)上也保持了競爭力。

**Q: dots.vlm1 的核心技術(shù)是什么？**

A: 核心技術(shù)包括從零訓(xùn)練的 12 億參數(shù)視覺編碼器 NaViT 和 DeepSeek V3 大語言模型，以及多模態(tài)數(shù)據(jù)訓(xùn)練和視覺與語言模型的深度融合。

**Q: 如何使用 dots.vlm1？**

A: 您可以通過訪問 Hugging Face 模型庫或在線體驗Demo進行體驗，也可以通過 GitHub 倉庫獲取完整的開源代碼。