PP-DocBee

PP-DocBee – 百度飛槳推出的文檔圖像理解多模態(tài)大模型

PP-DocBee是由百度飛槳（PaddlePaddle）團隊開發(fā)的一款專注于文檔圖像理解的多模態(tài)大模型。該模型基于ViT、MLP和LLM的架構(gòu)，具備卓越的中文文檔解析能力，能夠高效處理文字、表格和圖表等多種文檔內(nèi)容。PP-DocBee在學(xué)術(shù)界的權(quán)威評測中達到了同參數(shù)量模型的SOTA水平，并在內(nèi)部業(yè)務(wù)的中文應(yīng)用場景中表現(xiàn)出色。其推理性能經(jīng)過優(yōu)化，確保了快速的響應(yīng)速度與高質(zhì)量的輸出。PP-DocBee適用于文檔問答、復(fù)雜文檔解析等多種場景，并支持多種部署方式，為文檔處理提供了高效和智能的解決方案。

PP-DocBee是什么

PP-DocBee是百度飛槳（PaddlePaddle）團隊推出的一款專注于文檔圖像理解的多模態(tài)大模型。該模型采用ViT、MLP和LLM的架構(gòu)，展現(xiàn)了強大的中文文檔解析能力，能夠高效處理文字、表格、圖表等多種類型的文檔內(nèi)容。PP-DocBee在學(xué)術(shù)界的權(quán)威評測中達到了同參數(shù)量模型的最優(yōu)水平，并在內(nèi)部業(yè)務(wù)的中文場景表現(xiàn)尤為優(yōu)異。經(jīng)過優(yōu)化的推理性能使得響應(yīng)速度更快，能夠保持高質(zhì)量的輸出。PP-DocBee適用于文檔問答和復(fù)雜文檔解析等場景，支持多種部署方式，提供高效、智能的文檔處理解決方案。

PP-DocBee

PP-DocBee的主要功能

文檔內(nèi)容理解：PP-DocBee能夠精準識別和理解文檔圖像中的文字、表格、圖表等元素，支持多模態(tài)輸入，包括文本和圖像。
文檔問答：用戶可以根據(jù)文檔內(nèi)容提出問題，PP-DocBee能夠結(jié)合文檔中的信息生成準確的回答。
結(jié)構(gòu)化信息提取：將文檔中的信息（如表格、圖表）轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，便于后續(xù)的分析和處理。

PP-DocBee的技術(shù)原理

架構(gòu)設(shè)計：基于ViT（視覺Transformer）、MLP（多層感知機）和LLM（大語言模型）的架構(gòu)，結(jié)合視覺和語言模型的優(yōu)勢，實現(xiàn)端到端的文檔理解。
數(shù)據(jù)合成與預(yù)處理：針對中文文檔理解的不足，設(shè)計了文檔類數(shù)據(jù)的智能生產(chǎn)方案，包括OCR小模型與LLM大模型的結(jié)合、基于渲染引擎生成圖像數(shù)據(jù)等。訓(xùn)練過程中設(shè)置更大的resize閾值，推理時對圖像進行等比例放大，以獲取更全面的視覺特征。
訓(xùn)練優(yōu)化：通過混合多種文檔理解數(shù)據(jù)（如通用VQA、OCR、圖表、數(shù)學(xué)推理等），設(shè)置數(shù)據(jù)配比機制，以平衡不同數(shù)據(jù)集的數(shù)量差異。基于OCR后處理的輔助，將OCR識別的文字結(jié)果作為先驗信息，提升模型在文字清晰圖片上的理解能力。