poster2json：利用大语言模型从学术海报中提取结构化元数据

poster2json 是一款开源工具，专注于从PDF或图片格式的学术会议海报中提取结构化元数据并转换为机器可读的JSON格式。它结合视觉语言模型与专门训练的JSON结构化模型，解决了学术海报数字化的痛点，实现高精度的学术内容数字化，提升学术内容的可发现性、可引用性和可分析性。

学术会议海报是科研成果传播的重要载体，但长期以来面临着一个结构性问题：海报以视觉化的 PDF 或图片形式存在，其中的标题、作者、机构、摘要、方法、结果等关键信息无法被机器直接读取和处理。这种"视觉丰富、语义封闭"的特性严重限制了学术内容的可发现性、可引用性和可分析性。

传统的解决方案依赖人工录入或简单的 OCR 技术，前者成本高昂且难以规模化，后者在复杂的学术排版面前准确率有限。随着大语言模型和多模态视觉模型的快速发展，自动化、高精度的海报内容提取成为可能。poster2json 项目正是这一技术趋势的典型代表。

poster2json 的核心目标是将科学海报转换为符合 poster-json-schema 标准的结构化 JSON 数据，该标准基于广泛采用的 DataCite 4.7 元数据规范。项目采用多模型协作的技术架构，针对不同类型的输入和提取任务选择最适合的模型。

对于 JSON 结构化任务，项目使用了专门微调的 Llama-3.1-8B-Poster-Extraction 模型。这个模型在学术海报语料上进行了专门训练，能够理解学术内容的组织结构，将提取的文本信息组织成符合规范的 JSON 对象。

对于图片格式的海报，项目采用 Qwen2-VL-7B 视觉语言模型进行 OCR 识别。这个模型具备强大的视觉理解能力，能够处理海报中复杂的图文混排布局，准确识别文字区域并提取内容。

对于 PDF 格式的海报，项目使用 pdfalto 工具进行版面感知的文本提取，能够保留文档的结构信息而非简单输出纯文本。这种多阶段、多模型的处理流程确保了在各种输入条件下都能获得高质量的提取结果。

poster2json 的输出严格遵循 poster-json-schema 标准，这是一种专门为学术海报设计的元数据模式。输出 JSON 包含以下主要字段：

• creators：作者信息，包括姓名、所属机构等
• titles：海报标题，支持多语言
• content：内容部分，包含摘要、方法、结果等结构化章节
• imageCaptions：图片说明文字
• tableCaptions：表格说明文字

这种标准化的输出格式使得提取的数据可以无缝接入学术搜索引擎、知识图谱、文献管理系统等下游应用。研究人员可以基于这些结构化数据进行引文分析、主题聚类、趋势追踪等高级分析任务。

项目团队对 poster2json 进行了严格的性能评估，使用 10 份人工标注的学术海报作为测试集。评估指标包括词汇捕获率（Word Capture）、ROUGE-L 分数、数字捕获率和字段比例等。

测试结果显示，poster2json 在所有指标上都达到了或超过了预设阈值。词汇捕获率达到 0.96（阈值 0.75），ROUGE-L 分数为 0.89（阈值 0.75），数字捕获率为 0.93（阈值 0.75）。在整体通过率方面，10 份测试海报全部通过验证，通过率达到 100%。

这些指标表明 poster2json 已经达到了生产环境可用的精度水平，能够可靠地处理真实世界的学术海报。

poster2json 的应用场景非常广泛。对于学术会议组织者，可以批量处理投稿海报，构建可搜索的数字档案库。对于研究机构，可以整合历史海报资源，建立内部知识管理系统。对于学术搜索引擎，可以扩展索引范围，将海报内容纳入检索范围。

更深层次的价值在于，poster2json 为学术内容的自动化处理提供了一个可复用的技术范式。项目中使用的多模型协作架构、专门设计的 JSON 模式、以及严格的评估方法，都可以迁移到其他类型的学术文档处理任务中。

由于涉及大语言模型的推理，poster2json 对硬件有一定要求。官方推荐配置包括：NVIDIA CUDA 兼容显卡（显存不少于 16GB）、至少 32GB 系统内存、Python 3.10 以上版本。操作系统支持 Linux、macOS 以及通过 WSL2 运行的 Windows。

项目采用 Poetry 进行依赖管理，安装过程相对简单。用户可以通过 pip 直接安装发布的版本，也可以从源码克隆后使用 Poetry 安装开发依赖。项目还提供了便捷命令行接口，支持单文件提取、批量处理和结果验证等功能。

poster2json 由 fairdataihub 团队开发维护，采用 MIT 开源协议。项目代码托管在 GitHub 上，接受社区贡献。开发团队还发布了配套的 poster-json-schema 标准，推动学术海报元数据的标准化。

项目获得了 The Navigation Fund 的资助，显示出学术界对这类基础设施工具的重视。随着开源模型的持续进步和学术开放数据运动的推进，poster2json 这类工具将在学术知识传播中发挥越来越重要的作用。