Firecrawl PDF Inspector - Firecrawl 官方开源 PDF 解析引擎
Firecrawl PDF Inspector(仓库名 pdf-inspector)是 Firecrawl 开源的高性能 PDF 解析引擎:用 Rust 编写,能在约 10–50ms 内判断一份 PDF 是文本型、扫描型还是混合型,并把文本型 PDF 在本地 200ms 内转换成干净、带位置信息的 Markdown。源码在 github.com/firecrawl/pdf-inspector,MIT 协议,本站(pdf-inspector.wiki)就是它的中文官网。
它和 Firecrawl 是什么关系?
pdf-inspector 不是"碰巧来自 Firecrawl"的独立项目,而是 Firecrawl 官方 PDF 处理链路的底层引擎:
| 层级 | 是什么 | 在哪 |
|---|---|---|
| pdf-inspector | 开源 PDF 分类与解析引擎(本页主角) | github.com/firecrawl/pdf-inspector,可完全本地运行 |
| Firecrawl Parse | 托管版解析 API,规模化场景含 OCR,免运维 | firecrawl.dev/parse |
| AnyDoc | 姊妹开源项目:14 种办公格式转 Markdown,PDF 路径由 pdf-inspector 驱动 | github.com/firecrawl/anydoc · anydoc.wiki |
三个项目同期发布,见 Firecrawl 官方公告。npm 上的 @firecrawl scope(@firecrawl/pdf-inspector、@firecrawl/pdf-inspector-wasm、@firecrawl/anydoc)都属于这条产品线。
一句话:自己部署、要精细控制 → 用开源的 pdf-inspector;要托管、要 OCR、要规模化 → 用 Firecrawl Parse;混合办公文档 → 用 AnyDoc。
为什么 Firecrawl 要造它?
OCR 又慢又贵,但 Firecrawl 在处理海量网页转文档时发现:约 54% 的 PDF 根本不需要 OCR——文字就藏在内容流里,直接提取又快又准还免费。pdf-inspector 的设计哲学就是"先分类后提取":
- 分类:抽样渲染页面像素,毫秒级判定
TextBased/Scanned/ImageBased/Mixed,附置信度和需要 OCR 的页码; - 提取:文本型直接本地转换——多栏还原、表格识别、CID 字体解码一次完成;
- 路由:只有真正需要的页面才送 OCR,把成本花在刀刃上。
核心能力速览
- 毫秒级分类:10–50ms 判定四类文档类型 + 0–1 置信度 + 逐页 OCR 路由信号;
- 区域感知提取:每个文本片段带 X/Y 坐标、字体、字号,支持按包围盒提取;
- 版面还原:报纸式多栏阅读顺序重建,RTL 文本正确处理;
- 表格结构化:框线检测 + 文本对齐启发式双模式,跨页续表可拼接;
- 语义 Markdown:标题按字号分级、列表、链接、代码块,输出 GFM、token 友好。
在官方 opendataloader-bench 基准(200 份真实 PDF)中综合评分 0.875 排名第一,速度 0.470s/全量最快——完整数据见性能基准。
怎么上手 Firecrawl PDF Inspector?
| 场景 | 最快路径 |
|---|---|
| 先在线试试 | 首页在线 Demo:拖入 PDF,本地解析,免费无限制 |
| 命令行批量 | cargo install pdf-inspector 后 pdf2md 文件.pdf,详见安装页 |
| 代码集成 | Node.js / Python / Rust / 浏览器 WASM 五端,见快速上手 |
| 看源码 / 报 Issue | GitHub 仓库指南 |
const { processPdf } = require('@firecrawl/pdf-inspector')
const result = await processPdf('report.pdf')
console.log(result.pdfType) // "TextBased"
console.log(result.markdown) // 干净的 GFM Markdownfrom pdf_inspector import process_pdf
result = process_pdf("report.pdf")
print(result.pdf_type) # "text_based"
print(result.markdown)detect-pdf report.pdf # 只看类型判定
pdf2md report.pdf -o report.md # 转 Markdown常见问题
Firecrawl PDF Inspector 免费吗?
开源版完全免费,MIT 协议,无调用次数限制,可商用;本站在线 Demo 同样免费且文件不上传。Firecrawl 的托管 Parse API 是付费云服务,按量计费,适合不想自己运维的团队。
firecrawl pdf inspector 和 Firecrawl 爬虫是一回事吗?
不是。Firecrawl 主产品是网页抓取与解析平台;pdf-inspector 是它开源出来的 PDF 解析引擎,可以脱离爬虫独立使用——装在本地,只处理你喂给它的 PDF 文件。
支持扫描版 / 中文 PDF 吗?
扫描版内置选择性 OCR(可选启用,仅对质量检查拒绝的页送 OCR);中文等 CJK 文本没问题——CID/Type0 字体经 ToUnicode CMap 解码,WASM 版还内嵌了中日韩 CMap。先用在线检测看看你的文件属于哪类。
它和 AnyDoc 什么关系?
姊妹项目。AnyDoc 负责 Word、PPT、Excel 等 14 种办公格式统一转 Markdown,其中 PDF 路径就是调用 pdf-inspector。只处理 PDF 用 pdf-inspector 更轻,混合格式用 AnyDoc,详见 AnyDoc 介绍页。