本地 LLM 部署 第三章：PDF 文档预处理管道

第三章：PDF 文档预处理管道

3.1 高级 PDF 解析库选择与集成——PyMuPDF 与 Unstructured 的混合策略

在本地 RAG 系统中，PDF 解析是数据摄入的核心环节。纯文本 PDF 可用简单工具处理，但学术/报告类 PDF 常含多栏布局、嵌入图像、扫描页、复杂表格和公式，导致传统提取器（如 PyPDF2）产生乱码、阅读顺序错乱或信息丢失。

2025 年，PyMuPDF（最新版 1.26.x，基于 MuPDF 1.26）与Unstructured（最新版 ~0.16+）的混合策略已成为离线环境下的实用 SOTA 方案：

• PyMuPDF：速度极快（单页 ms 级）、布局保留精准、支持内置 OCR（Tesseract 集成）和图像提取，适合快速文本/图像/向量图形处理。
• Unstructured：深度学习驱动（YOLO/X-based 布局检测 + 可选 VLM），表格/图像/多模态元素识别强，输出结构化元素（Title/Table/Image 等），适合复杂文档。
• 混合优势：PyMuPDF 处理纯文本/扫描页（速度 + OCR），Unstructured 处理表格密集/多模态页（语义分割），结合后精度提升 20-40%，VRAM 占用低（CPU/GPU