30 秒快速开始

要求：Java 11+ 和 Python 3.10+（也支持 Node.js | Java）

开始前：运行 java -version。如果未找到，请从 Adoptium 安装 JDK 11+。

pip install -U opendataloader-pdf

import opendataloader_pdf

# Batch all files in one call — each convert() spawns a JVM process, so repeated calls are slow
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="markdown,json"
)

带注释的 PDF 输出 — 每个元素（标题、段落、表格、图片）均检测到边界框和语义类型。

解决什么问题？

能力矩阵

提取基准测试

opendataloader-pdf [混合] 总体排名第一（0.907），在阅读顺序、表格和标题提取准确率方面均领先。

分数归一化至 [0, 1]。准确率越高越好；速度越低越好。粗体 = 最佳。完整基准测试详情

我应该使用哪种模式？

快速开始

Python

pip install -U opendataloader-pdf

import opendataloader_pdf

# Batch all files in one call — each convert() spawns a JVM process, so repeated calls are slow
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="markdown,json"
)

Node.js

npm install @opendataloader/pdf

import { convert } from '@opendataloader/pdf';

await convert(['file1.pdf', 'file2.pdf', 'folder/'], {
  outputDir: 'output/',
  format: 'markdown,json'
});

Java

<dependency>
  <groupId>org.opendataloader</groupId>
  <artifactId>opendataloader-pdf-core</artifactId>
</dependency>

Python 快速开始 | Node.js 快速开始 | Java 快速开始

混合模式：复杂 PDF 的 #1 精度

混合模式将快速的本地 Java 处理与 AI 后端相结合。简单页面保持本地处理（0.02秒）；复杂页面路由到 AI，表格精度提高 90% 以上。

不要与标记 PDF 上的 --use-struct-tree 结合使用。 --use-struct-tree 优先，因此混合后端不会被调用（会记录警告）。如果您想要混合后端，请去掉 --use-struct-tree。

pip install -U "opendataloader-pdf[hybrid]"

终端 1 — 启动后端服务器：

opendataloader-pdf-hybrid --port 5002

终端 2 — 处理 PDF：

# Batch all files in one call — each invocation spawns a JVM process, so repeated calls are slow
opendataloader-pdf --hybrid docling-fast file1.pdf file2.pdf folder/

Python：

# Batch all files in one call — each convert() spawns a JVM process, so repeated calls are slow
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    hybrid="docling-fast"
)

扫描 PDF 的 OCR

使用 --force-ocr 启动后端，用于没有可选文本的基于图像的 PDF：

opendataloader-pdf-hybrid --port 5002 --force-ocr

对于非英文文档，请指定语言：

opendataloader-pdf-hybrid --port 5002 --force-ocr --ocr-lang "ko,en"

支持的语言：en、ko、ja、ch_sim、ch_tra、de、fr、ar 等。

公式提取（LaTeX）

从科学 PDF 中提取数学公式为 LaTeX：

# Server: enable formula enrichment
opendataloader-pdf-hybrid --enrich-formula

# Batch all files in one call — each invocation spawns a JVM process, so repeated calls are slow
opendataloader-pdf --hybrid docling-fast --hybrid-mode full file1.pdf file2.pdf folder/

JSON 输出：

{
  "type": "formula",
  "page number": 1,
  "bounding box": [226.2, 144.7, 377.1, 168.7],
  "content": "\\frac{f(x+h) - f(x)}{h}"
}

注意：公式和图片描述增强需要在客户端启用 --hybrid-mode full。

图表和图像描述

为图表和图像生成 AI 描述 — 适用于 RAG 搜索和无障碍替代文本：

# Server
opendataloader-pdf-hybrid --enrich-picture-description

# Batch all files in one call — each invocation spawns a JVM process, so repeated calls are slow
opendataloader-pdf --hybrid docling-fast --hybrid-mode full file1.pdf file2.pdf folder/

JSON 输出：

{
  "type": "picture",
  "page number": 1,
  "bounding box": [72.0, 400.0, 540.0, 650.0],
  "description": "A bar chart showing waste generation by region from 2016 to 2030..."
}

使用 SmolVLM（256M），一个轻量级视觉模型。通过 --picture-description-prompt 支持自定义提示。

Hancom Data Loader 集成 — 即将推出

通过 Hancom Data Loader 进行企业级 AI 文档分析 — 基于您的领域特定文档训练的客户定制模型。支持 30 多种元素类型（表格、图表、公式、标题、脚注等）、基于 VLM 的图像/图表理解、复杂表格提取（合并单元格、嵌套表格）、针对扫描文档的 SLA 支持的 OCR，以及原生 HWP/HWPX 支持。支持 PDF、DOCX、XLSX、PPTX、HWP、PNG、JPG。实时演示

混合模式指南

输出格式

组合格式：format="json,markdown"

JSON 输出示例

{
  "type": "heading",
  "id": 42,
  "level": "Title",
  "page number": 1,
  "bounding box": [72.0, 700.0, 540.0, 730.0],
  "heading level": 1,
  "font": "Helvetica-Bold",
  "font size": 24.0,
  "text color": "[0.0]",
  "content": "Introduction"
}

完整 JSON Schema

高级功能

标记 PDF 支持

当 PDF 具有结构标签时，OpenDataLoader 会提取作者预期的精确布局 — 无需猜测，无需启发式方法。标题、列表、表格和阅读顺序均从源文件中保留。

输出质量取决于标签质量。 并非所有标记的 PDF 都标记良好。对于标签稀疏或不正确的 PDF，默认启发式模式或 --hybrid docling-fast 通常会产生更好的结果。

--use-struct-tree 优先于 --hybrid。 如果两者都设置在标记的 PDF 上，则使用结构树，并且不会调用混合后端（标记良好的 PDF 已经带有阅读顺序和结构）。如果您想要混合后端，请去掉 --use-struct-tree。

# Batch all files in one call — each convert() spawns a JVM process, so repeated calls are slow
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    use_struct_tree=True           # Use native PDF structure tags
)

大多数 PDF 解析器完全忽略结构标签。了解更多

AI 安全：提示注入防护

PDF 可能包含隐藏的提示注入攻击。OpenDataLoader 自动过滤：

• 隐藏文本（透明、零大小字体）
• 页面外内容
• 可疑的不可见图层

要清理敏感数据（电子邮件、URL、电话号码 → 占位符），请显式启用：

# Batch all files in one call — each invocation spawns a JVM process, so repeated calls are slow
opendataloader-pdf file1.pdf file2.pdf folder/ --sanitize

AI 安全指南

LangChain 集成

pip install -U langchain-opendataloader-pdf

from langchain_opendataloader_pdf import OpenDataLoaderPDFLoader

loader = OpenDataLoaderPDFLoader(
    file_path=["file1.pdf", "file2.pdf", "folder/"],
    format="text"
)
documents = loader.load()

LangChain 文档 | GitHub | PyPI

高级选项

# Batch all files in one call — each convert() spawns a JVM process, so repeated calls are slow
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="json,markdown,pdf",
    image_output="embedded",        # "off", "embedded" (Base64), or "external" (default)
    image_format="jpeg",            # "png" or "jpeg"
    use_struct_tree=True,           # Use native PDF structure
)

完整 CLI 选项参考

PDF 无障碍和 PDF/UA 转换

问题：数百万现有 PDF 缺乏结构标签，不符合无障碍法规（EAA、ADA/Section 508、韩国数字包容法案）。手动修复每份文档成本为 50–200 美元，且无法扩展。

OpenDataLoader 的方法：与 PDF Association 和 Dual Lab（veraPDF 的开发者，行业参考的开源 PDF/A 和 PDF/UA 验证器）合作构建。自动标记遵循 Well-Tagged PDF 规范，并使用 veraPDF 进行程序化验证 — 针对 PDF 无障碍标准的自动一致性检查，而非人工审查。没有现有的开源工具可以端到端生成标记 PDF — 大多数依赖专有 SDK 来编写标签。OpenDataLoader 在 Apache 2.0 下完成所有工作。（合作详情）

标准与验证

无障碍处理流程

💼 企业版功能可按需提供。联系我们开始使用。

自动标签

从未加标签的PDF生成带标签的PDF — 输出为可供屏幕阅读器使用的PDF，包含结构标签（标题、段落、列表、表格、阅读顺序）。

import opendataloader_pdf

# Untagged PDF in → Tagged PDF out
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="tagged-pdf"
)

# CLI
opendataloader-pdf --format tagged-pdf file1.pdf file2.pdf folder/

与其他格式结合：format="json,tagged-pdf"。

端到端合规工作流

Existing PDFs (untagged)
    │
    ▼
┌─────────────────┐    ┌──────────────────┐    ┌─────────────────┐    ┌──────────────────┐
│  1. Audit       │───>│  2. Auto-Tag     │───>│  3. Export      │───>│  4. Studio       │
│  (check tags)   │    │  (→ Tagged PDF)  │    │  (PDF/UA)       │    │  (visual editor) │
└─────────────────┘    └──────────────────┘    └─────────────────┘    └──────────────────┘
        │                       │                       │                      │
        ▼                       ▼                       ▼                      ▼
  use_struct_tree      format="tagged-pdf"        PDF/UA export       Accessibility Studio
  (Available now)      (Available, Apache 2.0)    (Enterprise)        (Enterprise)

PDF无障碍指南

路线图

完整路线图

常见问题解答

最适合RAG的PDF解析器是什么？

对于RAG流程，您需要一个能保留文档结构、维持正确阅读顺序并提供元素坐标以供引用的解析器。OpenDataLoader正是为此设计 — 它输出带有边界框的结构化JSON，使用XY-Cut++处理多栏布局，并可在本地无GPU运行。在混合模式下，它在基准测试中综合排名第一（0.907）。

最好的开源PDF解析器是什么？

OpenDataLoader PDF是唯一结合了以下特性的开源解析器：基于规则的确定性提取（无需GPU）、每个元素的边界框、XY-Cut++阅读顺序、内置AI安全过滤器、原生带标签PDF支持，以及针对复杂文档的混合AI模式。它在CPU本地运行的同时，综合准确率排名第一（0.907）。

如何从PDF中提取表格以供LLM使用？

OpenDataLoader通过边框分析和文本聚类检测表格，保留行/列结构。对于复杂表格，启用混合模式可提升90%以上的准确率（TEDS评分从0.489提升至0.928）：

# Batch all files in one call — each convert() spawns a JVM process, so repeated calls are slow
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="json",
    hybrid="docling-fast"           # For complex tables
)

与docling、marker或pymupdf4llm相比如何？

OpenDataLoader [混合模式] 在阅读顺序、表格和标题准确率方面综合排名第一（0.907）。主要区别：docling（0.882）功能强大但缺乏边界框和AI安全过滤器。marker（0.861）需要GPU且速度慢1000倍（53.932秒/页）。pymupdf4llm（0.732）速度快但表格（0.401）和标题（0.412）准确率较差。OpenDataLoader是唯一结合了确定性本地提取、每个元素的边界框以及内置提示注入保护的解析器。参见完整基准测试。

我可以在不将数据发送到云端的情况下使用吗？

可以。OpenDataLoader完全在本地运行。无API调用，无数据传输 — 您的文档绝不会离开您的环境。混合模式后端也在您的机器上本地运行。非常适合法律、医疗和金融文档。

它支持扫描PDF的OCR吗？

支持，通过混合模式。使用pip install "opendataloader-pdf[hybrid]"安装，使用--force-ocr启动后端，然后照常处理。通过--ocr-lang支持多种语言，包括韩语、日语、中文、阿拉伯语等。

它适用于韩语、日语或中文文档吗？

适用。对于数字PDF，文本提取开箱即用。对于扫描PDF，请使用混合模式配合--force-ocr --ocr-lang "ko,en"（或ja、ch_sim、ch_tra）。即将推出：Hancom数据加载器集成 — 企业级AI文档分析，内置生产级OCR和针对您的特定文档类型及工作流优化的客户定制模型。

速度有多快？

本地模式在CPU上每秒处理60多页（0.02秒/页）。混合模式每秒处理2页以上（0.46秒/页），对复杂文档的准确率显著提高。无需GPU。在Apple M4上基准测试。完整基准测试详情。通过多进程批处理，在8核以上机器上吞吐量可超过每秒100页。

它处理多栏布局吗？

处理。OpenDataLoader使用XY-Cut++阅读顺序分析，正确排序多栏页面、侧边栏和混合布局中的文本。这在本地和混合模式下均无需任何配置即可工作。

什么是混合模式？

混合模式将快速的本地Java处理与AI后端相结合。简单页面在本地处理（0.02秒/页）；复杂页面（表格、扫描内容、公式、图表）自动路由到AI后端以获得更高准确率。后端在您的机器上本地运行 — 无需云端。参见我应该使用哪种模式？和混合模式指南。

它与LangChain兼容吗？

兼容。安装langchain-opendataloader-pdf以获得官方LangChain文档加载器集成。参见LangChain文档。

如何为RAG对PDF进行分块？

OpenDataLoader输出保留标题、表格和列表的结构化Markdown — 是语义分块的理想输入。JSON输出中的每个元素都包含type、heading level和page number，因此您可以按章节或页面边界进行拆分。对于大多数RAG流程：使用format="markdown"解析文本块，或在需要元素级控制时使用format="json"。配合LangChain的RecursiveCharacterTextSplitter或您自己的基于标题的分割器以获得最佳效果。

如何在RAG答案中引用PDF来源？

JSON 输出中的每个元素都包含 bounding box（在 PDF 要点中为 [left, bottom, right, top]）和 page number。当您的 RAG 管道返回答案时，将源块映射回其边界框，以在原始 PDF 中高亮显示确切位置。这实现了“点击查看来源”的用户体验——用户可以看到答案来自哪个段落、表格或图形。没有其他开源解析器默认提供每个元素的边界框。

如何将 PDF 转换为 Markdown 以供 LLM 使用？

import opendataloader_pdf

# Batch all files in one call — each convert() spawns a JVM process, so repeated calls are slow
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="markdown"
)

OpenDataLoader 在 Markdown 输出中保留标题层级、表格结构和阅读顺序。对于包含无边框表格或扫描页面的复杂文档，请使用混合模式（hybrid="docling-fast"）以获得更高准确性。输出足够干净，可直接输入 LLM 上下文窗口或 RAG 分块管道。

是否有自动化的 PDF 无障碍修复工具？

有。OpenDataLoader 是第一个端到端自动化 PDF 无障碍处理的开源工具。与 PDF Association 和 Dual Lab（veraPDF 开发者）合作构建，自动标记遵循 Well-Tagged PDF 规范，并使用 veraPDF 进行程序化验证。布局分析引擎检测文档结构（标题、表格、列表、阅读顺序）并自动生成无障碍标签。自动标记在 Apache 2.0 许可下将未标记的 PDF 转换为标记 PDF——无需专有 SDK 依赖。使用 format="tagged-pdf"（Python/Node.js）或 --format tagged-pdf（CLI）。对于需要完全符合 PDF/UA 的组织，企业附加组件提供 PDF/UA 导出和可视化标签编辑器。这取代了通常每份文档成本为 50–200 美元以上的手动修复工作流程。

这真的是第一个开源 PDF 自动标记工具吗？

是的。现有工具要么依赖专有 SDK 来写入结构标签，要么只输出非 PDF 格式（例如，Docling 输出 Markdown/JSON 但无法生成标记 PDF），要么需要人工干预。OpenDataLoader 是第一个完全在开源许可（Apache 2.0）下实现布局分析 → 标签生成 → 标记 PDF 输出的工具，且无专有依赖。自动标记遵循 PDF Association 的 Well-Tagged PDF 规范，并使用行业参考的开源 PDF/A 和 PDF/UA 验证器 veraPDF 进行验证。

如何将现有 PDF 转换为 PDF/UA？

OpenDataLoader 提供端到端管道：审计现有 PDF 的标签（use_struct_tree=True），将未标记的 PDF 自动标记为标记 PDF（format="tagged-pdf"，Apache 2.0 下免费），并导出为 PDF/UA-1 或 PDF/UA-2（企业附加组件）。自动标记遵循 PDF Association 的 Well-Tagged PDF 规范，并使用 veraPDF 进行验证。自动标记生成标记 PDF；PDF/UA 导出是最后一步。联系我们 了解企业集成。

如何使我的 PDF 符合 EAA 合规要求？

《欧洲无障碍法案》要求到 2025 年 6 月 28 日数字产品必须无障碍。OpenDataLoader 支持完整的修复工作流程：审计 → 自动标记 → 标记 PDF → PDF/UA 导出。自动标记遵循 PDF Association 的 Well-Tagged PDF 规范，并使用 veraPDF 进行验证，确保输出符合标准。自动标记为标记 PDF 在 Apache 2.0 下开源。PDF/UA 导出和无障碍工作室是企业附加组件。请参阅我们的 无障碍指南。

OpenDataLoader PDF 免费吗？

核心库在 Apache 2.0 下开源——可免费用于商业用途。这包括所有提取功能（文本、表格、图像、OCR、公式、通过混合模式的图表）、AI 安全过滤器、标记 PDF 支持以及自动标记为标记 PDF。我们致力于保持核心无障碍管道（布局分析 → 自动标记 → 标记 PDF）免费且开源。企业附加组件（PDF/UA 导出、无障碍工作室）适用于需要端到端法规合规的组织。

为什么许可证从 MPL 2.0 更改为 Apache 2.0？

MPL 2.0 要求文件级 copyleft，这通常会在企业采用前触发法律审查。Apache 2.0 完全宽松——无 copyleft 义务，更易于集成到商业项目中。如果您使用 2.0 之前的版本，它仍受 MPL 2.0 约束，您可以继续使用。升级到 2.0+ 意味着您的项目遵循 Apache 2.0 条款，这些条款严格更宽松——无额外义务，您无需采取任何行动。

文档

• 快速入门（Python）
• 快速入门（Node.js）
• 快速入门（Java）
• JSON Schema 参考
• CLI 选项
• 混合模式指南
• 标记 PDF 支持
• AI 安全功能
• PDF 无障碍

贡献

我们欢迎贡献！请参阅 CONTRIBUTING.md 了解指南。

许可证

Apache License 2.0

注意： 2.0 之前的版本根据 Mozilla Public License 2.0 许可。

觉得有用吗？ 给我们一个星标，帮助更多人发现 OpenDataLoader。