通過(guò)VLM范式解決OCR任務(wù)的工作~

原標(biāo)題：萬(wàn)字分享多模態(tài)大模型OCR工作 OCR VLM
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：20253字

文本OCR任務(wù)的現(xiàn)狀與發(fā)展

隨著機(jī)器學(xué)習(xí)與大語(yǔ)言模型（MLLM）領(lǐng)域的發(fā)展，文本OCR（光學(xué)字符識(shí)別）任務(wù)逐漸受到重視。傳統(tǒng)的OCR系統(tǒng)通常采用多模塊的pipeline設(shè)計(jì)，包括元素檢測(cè)、區(qū)域裁剪和字符識(shí)別等。這一方法不僅容易導(dǎo)致過(guò)擬合，還增加了維護(hù)成本，且在不同場(chǎng)景下需要專門訓(xùn)練不同模型。為了應(yīng)對(duì)這些挑戰(zhàn)，許多研究者開(kāi)始嘗試通過(guò)視覺(jué)語(yǔ)言模型（VLM）來(lái)解決OCR任務(wù)。

1. OCR任務(wù)的特點(diǎn)

OCR任務(wù)最顯著的特點(diǎn)是需要處理高分辨率的輸入圖像。圖像越大，包含的字符越多，識(shí)別效果也更佳。此外，OCR任務(wù)強(qiáng)調(diào)感知能力，而不是復(fù)雜的推理能力，因此需要大量的視覺(jué)token支持。為了實(shí)現(xiàn)高效的OCR，動(dòng)態(tài)分辨率和視覺(jué)token壓縮方案成為了重要的研究方向。

2. 主要研究工作

在這方面，幾篇關(guān)鍵的研究工作值得關(guān)注：

1. **GOT-OCR 2.0**：該模型旨在實(shí)現(xiàn)端到端的OCR解決方案，支持動(dòng)態(tài)分辨率和多頁(yè)OCR，且模型輕量化，使用小型視覺(jué)編碼器與大語(yǔ)言模型相結(jié)合。其關(guān)鍵在于通過(guò)多階段訓(xùn)練提升模型能力，并結(jié)合豐富的OCR數(shù)據(jù)集進(jìn)行訓(xùn)練。

2. **Vary**：該研究提出了視覺(jué)詞表的概念，通過(guò)構(gòu)造新的ViT模型來(lái)實(shí)現(xiàn)OCR任務(wù)。該模型通過(guò)對(duì)比正負(fù)樣本的方式，提升了對(duì)OCR場(chǎng)景的理解能力。

3. **TextMonkey**：該模型通過(guò)滑動(dòng)窗口注意力機(jī)制和Token Resampler來(lái)提高對(duì)文本的理解，優(yōu)化了輸入的圖像切分策略，增強(qiáng)了模型對(duì)文本位置信息的分析能力。

4. **mPLUG系列**：阿里巴巴的mPLUG團(tuán)隊(duì)開(kāi)發(fā)的DocOwl系列通過(guò)統(tǒng)一結(jié)構(gòu)學(xué)習(xí)，實(shí)現(xiàn)了文檔理解的多任務(wù)訓(xùn)練，支持高分辨率的圖像處理，提升了模型的通用性和精準(zhǔn)度。

3. 未來(lái)展望

盡管當(dāng)前的OCR技術(shù)已經(jīng)取得了顯著進(jìn)展，但仍需進(jìn)一步優(yōu)化模型的泛化能力和適應(yīng)性，以應(yīng)對(duì)不同應(yīng)用場(chǎng)景的挑戰(zhàn)。未來(lái)的研究方向可能集中在提高模型的推理能力、增強(qiáng)對(duì)復(fù)雜文本結(jié)構(gòu)的解析能力以及整合更多類型的視覺(jué)信息上。

總之，隨著OCR技術(shù)的不斷發(fā)展，結(jié)合視覺(jué)語(yǔ)言模型的創(chuàng)新方法將為OCR任務(wù)帶來(lái)新機(jī)遇，推動(dòng)相關(guān)領(lǐng)域的進(jìn)一步發(fā)展。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下公眾號(hào)之一，深入關(guān)注大模型與AI智能體，及時(shí)搜羅生成式AI技術(shù)產(chǎn)品。