GOT-OCR 2.0是一款前沿的光學字符識別（OCR）模型，標志著OCR技術邁入了全新的2.0時代。該模型采用端到端架構，結合了高效的壓縮編碼器與長上下文解碼器，能夠處理多種光學字符，包括文本、數學公式、分子式、圖表、樂譜和幾何圖形。GOT-OCR 2.0支持多種語言，尤其擅長中文和英文，并能夠輸出多種格式，如Markdown和LaTeX。其交互式OCR功能、動態分辨率策略以及多頁處理能力，使其在高分辨率圖像和批量文檔處理方面展現出卓越的性能。

GOT-OCR 2.0是什么

GOT-OCR 2.0是一種先進的光學字符識別（OCR）模型，推動OCR技術進入全新的2.0時代。該模型采用端到端架構，由高壓縮編碼器和長上下文解碼器構成，能夠處理包括文本、數學公式、分子式、圖表、樂譜和幾何圖形在內的多種光學字符。同時，它支持多種語言，尤其是中文和英文，能夠輸出Markdown和LaTeX等多種格式的結果。模型具備交互式OCR功能，包括區域級識別和動態分辨率策略，以及多頁OCR技術，適用于高分辨率圖像和批量文檔處理。GOT-OCR 2.0擁有580M的參數，模型尺寸為1.43GB，提供高效且精準的OCR解決方案。

GOT-OCR 2.0的主要功能

• 多語言與多模態識別：支持多種語言文本識別，包括中文和英文，以及手寫體和印刷體。
• 多樣化輸入輸出：能夠處理照片、文檔、切片等多種輸入格式，支持純文本、Markdown、TikZ、SMILES、Kern等多種輸出格式。
• 長文本處理能力：解碼器支持長達8K的token，適用于處理學術論文、法律文件等長文本資料。
• 互動式OCR功能：通過坐標或顏色引導的區域級識別，提供靈活的用戶體驗。
• 動態分辨率策略：適應超高分辨率圖像，如大幅海報或拼接PDF頁面，確保識別的準確性。
• 多頁OCR技術：實現批量處理多頁文檔，提高長篇PDF文件或多圖文檔的處理效率。

GOT-OCR 2.0的技術原理

• 編碼器-解碼器架構：
  • 編碼器：負責將輸入圖像壓縮為一系列圖像token，從而捕捉圖像中的視覺信息。
  • 解碼器：接收編碼器輸出的圖像token，并將其轉換為文本輸出，支持長上下文的處理。
• 高壓縮率編碼器：編碼器將1024×1024像素的圖像壓縮為256×1024尺寸的圖像token，便于處理高分辨率圖像。
• 長上下文解碼器：解碼器支持長達8K的token序列，使其能夠處理包含大量文本的長文檔。
• 多階段訓練策略：
  • 預訓練階段：編碼器在大量文本數據上進行預訓練，以學習文本的視覺表示。
  • 聯合訓練階段：編碼器與新的解碼器共同訓練，以適應更廣泛的OCR任務。
  • 后訓練階段：對解碼器進行進一步訓練，以支持細粒度OCR、動態分辨率和多頁OCR等高級功能。

GOT-OCR 2.0的項目地址

• GitHub倉庫：https://github.com/Ucas-HaoranWei/GOT-OCR2.0
• HuggingFace模型庫：https://huggingface.co/stepfun-ai/GOT-OCR2_0
• arXiv技術論文：https://arxiv.org/pdf/2409.01704

GOT-OCR 2.0的應用場景

• 文檔數字化：將紙質文檔（如書籍、手稿、法律文件、學術論文等）轉換為電子格式，便于存儲、檢索和編輯。
• 場景文本識別：在自然場景中識別和提取文本，如街道標志、廣告牌、菜單等。
• 票據處理：自動識別和提取發票、收據、賬單上的文本信息，簡化財務和會計流程。
• 身份驗證與安全：在需要驗證個人身份的場景中，如銀行業務、機場安檢等，識別護照、身份證或駕駛執照上的信息。
• 物流與運輸：自動識別包裹上的條形碼和地址信息，提高物流分揀和配送效率。
• 醫療記錄管理：識別和數字化醫生的手寫處方、病歷記錄和其他醫療文檔。