DMP Bridge：用大语言模型将PDF数据管理计划转换为结构化元数据

一款开源Python工具，通过多阶段处理管道结合视觉语言模型，实现PDF格式数据管理计划到RDA通用标准JSON的自动转换。

数据管理计划（DMP）是科研人员描述其数据收集、存储、共享策略的重要文档。传统的DMP通常以PDF格式提交，这种格式便于人类阅读，却难以被计算机程序解析。RDA（Research Data Alliance）制定了通用标准（Common Standard），定义了DMP的机器可读格式，但将现有的PDF文档转换为该标准格式一直是一个技术难题。

DMP Bridge由FAIR Data Innovations Hub开发，采用MIT许可证开源。它通过多阶段处理管道，结合现代大语言模型的视觉理解能力，实现了从PDF到结构化JSON的自动化转换。

DMP Bridge采用模块化的流水线架构，将复杂的转换任务分解为多个可独立优化的阶段：

第一阶段：PDF解析与布局提取

使用pdfplumber库提取PDF的原始文本内容和布局信息。这一步骤保留了文档的结构特征，如段落、标题层级、表格位置等，为后续的结构化分析提供基础数据。

第二阶段：视觉理解与结构检测

将PDF页面转换为图像，利用Qwen2-VL视觉语言模型进行文档结构分析。视觉语言模型能够理解文档的视觉布局，识别标题、章节、列表等结构元素，这是纯文本分析方法难以实现的能力。

第三阶段：Markdown重建

通过Docling工具将提取的内容重建为结构化的Markdown格式。这一中间表示既保留了文档的语义结构，又便于后续的程序化处理。

第四阶段：JSON结构化输出

最终阶段将Markdown内容映射到RDA Common Standard JSON格式，并支持DMPTool扩展。输出文件遵循标准化的JSON Schema，可直接被其他科研数据管理系统消费。

• PDF处理模块：负责PDF文件的解析、类型检测和页面图像转换
• 视觉分析模块：集成Qwen2-VL模型进行文档结构识别
• 后处理模块：融合规则引擎和模型输出，生成最终的结构化数据
• 评估模块：提供提取质量评估和头部检测验证功能

项目采用清晰的数据分层结构，每个处理阶段都有独立的输出目录：

data/
├── raw_pdfs/          # 输入PDF文件
├── page_images/       # PDF转图像（供视觉模型使用）
├── pdfplumber_blocks/ # 原始文本+布局提取结果
├── qwen_outputs/      # 视觉模型结构检测结果
├── docling_markdown/  # Markdown重建输出
├── docling_json/      # Docling JSON中间格式
└── structure_json/    # 最终结构化JSON输出

这种设计便于调试和优化——开发者可以检查每个阶段的中间输出，定位问题所在。

DMP Bridge的价值体现在多个层面：

科研机构数据门户：可以将历史积累的PDF格式DMP批量转换为机器可读格式，建立可检索的DMP数据库。

资助机构工作流：自动解析申请者提交的DMP文档，提取关键信息用于评审和统计分析。

数据共享平台：标准化DMP元数据，促进不同系统间的互操作性。

合规性检查：自动提取DMP中的数据共享策略、存储期限等关键字段，辅助合规性审查。

项目创新性地引入Qwen2-VL视觉语言模型进行文档结构分析。相比传统的基于规则或纯NLP的方法，视觉语言模型能够理解文档的视觉布局，对复杂格式的DMP有更好的适应性。

每个处理阶段都是独立的模块，开发者可以替换或增强特定组件。例如，可以用其他视觉模型替代Qwen2-VL，或者添加针对特定机构DMP模板的定制规则。