N倍提升效率！用 Docling 解析多種格式，一鍵轉(zhuǎn) Markdown

使用教程2個(gè)月前更新 AI取經(jīng)路

367 0 0

Docling 旨在簡(jiǎn)化多種文檔格式的解析和轉(zhuǎn)換。它支持讀取 PDF、DOCX、PPTX、圖像、HTML、AsciiDoc 和 Markdown 等格式，并能將其導(dǎo)出為 Markdown 或 JSON 格式。

原標(biāo)題：N倍提升效率！用 Docling 解析多種格式，一鍵轉(zhuǎn) Markdown
文章來(lái)源：AI取經(jīng)路
內(nèi)容字?jǐn)?shù)：6746字

Docling：簡(jiǎn)化文檔處理的利器

在信息的時(shí)代，高效處理各種格式的文檔變得至關(guān)重要。從PDF、Word到PPT，再到圖片和網(wǎng)頁(yè)，不同格式的文檔之間差異巨大，統(tǒng)一處理一直是困擾許多人的難題。而Docling的出現(xiàn)，為我們提供了一種優(yōu)雅的解決方案。

Docling是什么？

Docling是由IBM深度搜索團(tuán)隊(duì)開發(fā)的一個(gè)開源Python庫(kù)，旨在簡(jiǎn)化多種文檔格式的解析和轉(zhuǎn)換。它支持讀取PDF、DOCX、PPTX、圖像、HTML、AsciiDoc和Markdown等多種格式的文檔，并將它們轉(zhuǎn)換為易于機(jī)器處理的Markdown或JSON格式。這使得我們可以更方便地利用這些文檔中的信息，例如用于構(gòu)建知識(shí)庫(kù)、進(jìn)行文本分析或驅(qū)動(dòng)大型語(yǔ)言模型。

Docling的核心功能

Docling不僅僅是一個(gè)簡(jiǎn)單的文檔轉(zhuǎn)換工具，它擁有許多強(qiáng)大的功能：

支持多種文檔格式： Docling可以處理幾乎所有常見的文檔格式，包括PDF、DOCX、XLSX、HTML、圖像等等。
高級(jí)PDF理解能力： Docling能夠理解PDF文檔的頁(yè)面布局、閱讀順序和表格結(jié)構(gòu)，甚至可以識(shí)別代碼、公式和圖像。對(duì)于掃描件PDF，Docling還支持OCR（光學(xué)字符識(shí)別）功能。
統(tǒng)一的文檔表示： Docling使用統(tǒng)一的DoclingDocument格式表示文檔，方便與LlamaIndex和LangChain等其他工具集成，構(gòu)建更復(fù)雜的文檔處理流程。
多種導(dǎo)出格式： 用戶可以將文檔導(dǎo)出為Markdown、HTML或JSON格式，滿足不同的應(yīng)用場(chǎng)景。
本地執(zhí)行和集成： Docling支持本地執(zhí)行，保護(hù)敏感數(shù)據(jù)安全，并且可以輕松集成到LangChain、LlamaIndex等流行的AI框架中。
強(qiáng)大的OCR支持： Docling為掃描的PDF和圖像提供廣泛的OCR支持，確保能夠提取所有文本信息。
簡(jiǎn)潔的命令行界面： Docling提供方便易用的命令行界面，方便用戶快速上手。

Docling的架構(gòu)

Docling采用流水線處理的方式來(lái)解析文檔。對(duì)于每種文檔格式，它會(huì)選擇合適的解析后端和處理流程。以PDF為例，Docling會(huì)依次執(zhí)行以下步驟：

PDF后端解析： 提取文本內(nèi)容及其坐標(biāo)，并渲染頁(yè)面圖像。
AI模型處理： 應(yīng)用一系列AI模型提取布局、表格結(jié)構(gòu)等信息。
結(jié)果整合和后處理： 整合所有頁(yè)面結(jié)果，補(bǔ)充元數(shù)據(jù)，檢測(cè)語(yǔ)言，推測(cè)閱讀順序，最終生成結(jié)構(gòu)化文檔對(duì)象。

Docling的安裝和快速入門

安裝Docling非常簡(jiǎn)單，只需使用pip命令：

pip install docling

以下是一個(gè)簡(jiǎn)單的Docling使用示例，展示如何將一個(gè)PDF文檔轉(zhuǎn)換為Markdown格式：

導(dǎo)入必要的包和配置日志： 這部分代碼包含了導(dǎo)入必要的模塊，以及配置日志級(jí)別。
確定輸入和輸出路徑： 指定需要處理的文檔路徑和輸出目錄。
下載必要的模型： Docling需要一些預(yù)訓(xùn)練的模型來(lái)進(jìn)行文檔處理，需要下載這些模型到指定的目錄。
定義文檔處理管道： 配置PDF處理管道選項(xiàng)，例如是否使用GPU加速、圖片縮放比例等。
開始轉(zhuǎn)換： 使用DocumentConverter類進(jìn)行文檔轉(zhuǎn)換。
保存結(jié)果： 將轉(zhuǎn)換后的文檔保存為Markdown、HTML或JSON格式。

詳細(xì)的代碼示例請(qǐng)參考Docling的官方文檔。

GPU使用問題及解決方法

如果你的系統(tǒng)中沒有安裝合適的CUDA驅(qū)動(dòng)和PyTorch GPU版本，Docling可能會(huì)提示CUDA不可用，并回退到CPU模式。解決方法是卸載默認(rèn)的CPU版本的PyTorch，然后根據(jù)你的CUDA版本安裝對(duì)應(yīng)的GPU版本的PyTorch。PyTorch的官方網(wǎng)站提供了詳細(xì)的安裝指南。

總結(jié)

Docling是一個(gè)功能強(qiáng)大且易于使用的文檔處理工具，它可以幫助我們高效地處理各種格式的文檔，并將其轉(zhuǎn)換為易于機(jī)器處理的形式。對(duì)于從事自然語(yǔ)言處理、知識(shí)圖譜構(gòu)建等相關(guān)工作的開發(fā)者來(lái)說，Docling無(wú)疑是一個(gè)值得關(guān)注的利器。