mPLUG-DocOwl 1.5是一款由阿里巴巴集團開發的多模態大型語言模型，專注于無需光學字符識別（OCR）的文檔理解。該模型通過統一結構學習，顯著增強了對包含文本的復雜圖像（如文檔、表格和圖表）的結構信息的理解能力。mPLUG-DocOwl 1.5在多個視覺文檔理解基準測試中表現出色，其無OCR性能在行業中處于領先地位，且在SOTA性能方面提升超過10分。

mPLUG-DocOwl 1.5是什么

mPLUG-DocOwl 1.5是阿里巴巴集團推出的一款先進的多模態大型語言模型，旨在實現OCR-free的文檔理解。該模型基于統一結構學習，強化其對文本豐富圖像的解析能力，涵蓋文檔、網頁、表格、圖表和自然圖像等五個領域。其H-Reducer模塊通過卷積層合并相鄰的圖像塊，有效減小視覺特征的長度，同時保持布局信息，從而使模型能夠高效處理高分辨率的圖像。

mPLUG-DocOwl 1.5的主要功能

• 結構化文檔解析：能夠識別并解析文檔中的文本結構，包括換行和空格，理解文檔的組織形式。
• 表格轉換為Markdown：將表格圖像轉換成Markdown格式，方便后續處理和閱讀。
• 圖表轉換為Markdown：能夠將圖表圖像轉換為Markdown格式，保留重要數據和結構信息。
• 自然圖像解析：解析自然場景圖像，識別并理解圖像中的文字信息。
• 多粒度文本定位：在不同粒度上（如單詞、短語、行、塊）定位文本，增強模型對文本位置的識別能力。

mPLUG-DocOwl 1.5的技術原理

• 統一結構學習：模型通過結構感知解析任務和多粒度文本定位任務，學習如何理解和處理文本豐富的圖像。
• H-Reducer視覺-文本模塊：利用卷積層合并相鄰視覺特征，減少特征長度，同時保持布局信息，使大型語言模型能夠更有效地處理高分辨率圖像。
• 多模態大型語言模型：結合視覺編碼器和大型語言模型，通過視覺到文本的模塊（如H-Reducer），使模型能夠理解和生成與視覺內容相關的語言描述。
• 大規模數據集訓練：利用大規模標注數據集（如DocStruct4M和DocReason25K），模型學習各種文檔和圖像中的文本結構和語義信息。
• 兩階段訓練框架：首先進行統一結構學習，然后進行多任務調整，使模型在多種下游任務中表現優異。

mPLUG-DocOwl 1.5的項目地址

• GitHub倉庫：X-PLUG/mPLUG-DocOwl/tree/main/DocOwl1.5
• arXiv技術論文：https://arxiv.org/pdf/2403.12895

mPLUG-DocOwl 1.5的應用場景

• 自動文檔處理：在企業或機構中，自動解析和理解大批量文檔（如合同、發票、報告和表格），提高工作效率，減少人工操作。
• 智能搜索引擎：集成mPLUG-DocOwl 1.5以增強圖像中文本內容的搜索能力，從而提供更精準的搜索結果。
• 輔助閱讀與理解：幫助用戶更好地理解復雜文檔內容，尤其是對視覺障礙人士，提供易于獲取的信息。
• 教育與學術研究：在教育領域，輔助學生和研究人員理解教科書、學術論文和研究資料中的復雜信息。
• 客戶服務與支持：在客戶服務系統中，運用mPLUG-DocOwl 1.5解析用戶上傳的文檔，自動提取關鍵信息，提升服務響應速度。

常見問題

mPLUG-DocOwl 1.5可以處理哪些類型的文檔？
該模型能夠處理多種類型的文檔，包括文本文件、表格、圖表以及自然場景中的圖像。

如何使用mPLUG-DocOwl 1.5進行文檔解析？
用戶可以通過GitHub上的開源代碼和提供的API進行文檔解析和處理。

該模型的性能如何？
在多個視覺文檔理解基準測試中，mPLUG-DocOwl 1.5表現出色，尤其在無OCR性能方面處于行業領先地位。