Schema-Miner：基于大语言模型的人机协作科学模式挖掘框架

原作者与来源

• 原作者/维护者：sciknoworg
• 来源平台：github
• 原始标题：schema-miner: A Human-in-the-Loop Workflow for Scientific Schema Mining with Large Language Models
• 原始链接：https://github.com/sciknoworg/schema-miner
• 来源发布时间/更新时间：2026-08-11T14:46:51Z

原作者与来源\n\n- 原作者/维护者：sciknoworg 组织\n- 来源平台：GitHub\n- 原始标题：schema-miner: A Human-in-the-Loop Workflow for Scientific Schema Mining with Large Language Models\n- 原始链接：https://github.com/sciknoworg/schema-miner\n- 发布时间：2026年8月11日\n- PyPI 包：https://pypi.org/project/schema-miner/\n- 文档地址：https://schema-miner.readthedocs.io/\n- 学术引用：ESWC Proceedings (https://link.springer.com/chapter/10.1007/978-3-031-94578-6_14)\n\n---\n\n## 背景与动机\n\n在科学研究中，大量的知识以非结构化文本的形式存在于论文、报告和技术文档中。传统的知识抽取方法往往需要大量人工标注和领域专家参与，效率低下且难以规模化。随着大语言模型（LLM）技术的快速发展，研究人员开始探索如何利用这些强大的模型来自动化科学知识的结构化表示。\n\n然而，纯自动化的方法往往难以捕捉科学领域的细微差别和专业约束。因此，人机协作（Human-in-the-Loop）范式应运而生——它结合了 LLM 的自动化处理能力和人类专家的专业判断，在保证效率的同时确保知识表示的准确性和完整性。\n\n---\n\n## Schema-Miner 框架概述\n\nSchema-Miner 是由 sciknoworg 开发的开源框架，专门设计用于解决科学模式挖掘（Schema Mining）这一挑战性任务。该框架的核心创新在于将大语言模型与持续的人类反馈机制相结合，通过迭代式流程不断改进科学模式的发现与精炼。\n\n### 核心功能特性\n\n1. 三阶段渐进式模式发现：从领域规范到精选文献再到大规模语料库，逐步构建和完善科学模式\n2. 多 LLM 提供商支持：兼容 OpenAI、HuggingFace、Ollama、GWDG/SAIA、OpenRouter 等多种模型服务\n3. 人机协作反馈机制：在关键节点引入专家反馈，确保模式质量\n4. 本体锚定（Ontology Grounding）：将发现的模式元素映射到正式本体（如 QUDT），增强互操作性\n5. 灵活的部署选项：支持本地 GPU 推理、远程 API 调用和混合模式\n\n---\n\n## 技术架构与工作流程\n\nSchema-Miner 采用模块化的三阶段架构，每个阶段都有明确的输入、处理和输出：\n\n### 第一阶段：初始模式挖掘（Initial Schema Mining）\n\n在这一阶段，系统接收用户提供的领域规范文档（PDF 或纯文本），利用配置的大语言模型生成初始的科学过程模式。这个阶段的目标是建立一个基础框架，定义该科学领域涉及的关键实体、属性和关系。\n\n用户需要配置 PROCESS_NAME 和 PROCESS_DESCRIPTION 来指导 LLM 理解目标科学领域。模型会分析规范文档，提取其中的结构化信息，生成初步的 JSON 格式模式表示。\n\n### 第二阶段：初步模式精炼（Preliminary Schema Refinement）\n\n第二阶段引入精选的科学研究论文集合（经过人工筛选的高质量文献）。系统将这些文献与第一阶段生成的初始模式相结合，通过 LLM 分析扩展和细化模式定义。\n\n这一阶段的关键特性是支持专家反馈——研究人员可以在批处理之间提供反馈，指导模型关注特定方面或修正错误理解。这种迭代式精炼确保了模式能够准确反映领域知识。\n\n### 第三阶段：最终模式精炼（Final Schema Refinement）\n\n第三阶段处理更大规模的非精选文献语料库。此时，模式已经经过前两轮的构建和初步精炼，具备较强的泛化能力。系统可以批量处理大量文献，自动识别新的属性并将其整合到现有模式中。\n\n这个阶段特别适合处理特定科学领域的海量文献，能够发现人工阅读难以察觉的隐含模式和关联。\n\n### 本体锚定与 Schema-Miner Pro\n\nSchema-Miner Pro 是框架的扩展版本，增加了本体锚定功能。该组件使用基于代理的 AI（Agentic AI）执行多步推理，结合词汇启发式方法和语义相似性搜索，将发现的模式元素映射到正式本体（如 QUDT——数量、单位、尺寸和类型本体）。\n\n本体锚定的价值在于：\n- 增强模式的标准化和互操作性\n- 支持跨领域知识整合\n- 为后续的知识图谱构建和语义查询奠定基础\n\n---\n\n## 多提供商 LLM 支持策略\n\nSchema-Miner 的一个显著优势是对多种 LLM 提供商的广泛支持：\n\n| 提供商 | 配置值 | 示例模型 | 特点 |\n|--------|--------|----------|------|\n| OpenAI | OPENAI | gpt-4o, o3-mini | 商业 API，性能稳定 |\n| GWDG/SAIA | SAIA | gemma-3-27b-it, qwen3-30b-a3b | 德国学术云服务，OpenAI 兼容 |\n| OpenRouter | SAIA | qwen/qwen3-235b-a22b, claude-sonnet-4.6 | 模型聚合平台，选择丰富 |\n| Ollama | OLLAMA | llama3.2:3b, ministral-3:3b | 本地部署，隐私友好 |\n| HuggingFace | HUGGINGFACE | Qwen/Qwen3-4B-Instruct | 支持本地 GPU 或推理 API |\n\n这种灵活性使研究人员可以根据数据隐私要求、计算资源和预算限制选择最合适的推理方案。对于处理敏感科学数据的场景，本地部署选项（Ollama、HuggingFace Local）尤为重要。\n\n---\n\n## 安装与使用\n\n### 快速安装\n\nSchema-Miner 可通过 PyPI 直接安装：\n\nbash\npip install schema-miner\n\n\n或者从源码安装：\n\nbash\ngit clone https://github.com/sciknoworg/schema-miner.git\ncd schema-miner\npip install -r requirements.txt\n\n\n### 配置环境\n\n首次使用前，需要复制配置模板并填写相关参数：\n\nbash\ncp .env.example .env\n\n\n配置项包括：\n- LLM 提供商选择：OPENAI、SAIA、OLLAMA 或 HUGGINGFACE\n- 模型名称：如 mistral-large-3-675b-instruct-2512、gemma-3-27b-it\n- API 凭证：根据所选提供商填写相应的 API 密钥\n- 科学过程定义：PROCESS_NAME 和 PROCESS_DESCRIPTION\n- 数据路径：各阶段的输入文档路径和结果输出路径\n\n### 命令行使用\n\n配置完成后，可通过简单的命令行界面运行：\n\nbash\n# 运行第一阶段\nschema-miner --stage 1\n\n# 运行第二阶段（带专家反馈）\nschema-miner --stage 2 --schema results/stage1/schema.json --expert-feedback feedback.txt\n\n# 运行第三阶段\nschema-miner --stage 3 --schema results/stage2/schema.json\n\n# 运行本体锚定\nschema-miner --ontology-grounding agentic --schema results/stage3/schema.json\n\n\n---\n\n## 应用场景与价值\n\nSchema-Miner 在多个科学研究领域具有广泛的应用潜力：\n\n### 材料科学\n从大量材料合成论文中提取实验参数、表征方法和性能指标，构建材料知识图谱，加速新材料发现。\n\n### 生物医学\n分析临床试验报告和医学文献，提取治疗方案、患者特征和疗效指标，支持循证医学研究和药物重定位。\n\n### 环境科学\n整合气候变化、生态系统研究的分散知识，构建跨学科的环境过程模型，支持政策制定。\n\n### 化学工程\n从工艺文献中提取反应条件、催化剂信息和产物特性，优化工业生产过程。\n\n---\n\n## 技术实现亮点\n\n### 迭代式人机协作设计\n不同于传统的"一次性"自动抽取，Schema-Miner 允许在关键节点暂停流程，引入专家审核和反馈。这种设计既发挥了 LLM 处理大规模文本的能力，又保留了人类专家的质量把控。\n\n### 语义相似性搜索\n在本体锚定阶段，系统使用语义相似性搜索匹配发现的属性与正式本体中的概念。这种方法比简单的字符串匹配更能捕捉概念的语义关联。\n\n### 模块化架构\n三阶段设计允许用户根据实际需求灵活选择执行范围。例如，如果已有初始模式，可以直接从第二阶段开始；如果不需要本体锚定，可以只运行前三个阶段。\n\n### 开源生态集成\n项目采用标准开源实践，包括 pre-commit 钩子、bandit 安全扫描、ReadTheDocs 文档托管和 Zenodo DOI 引用支持，体现了良好的软件工程素养。\n\n---\n\n## 局限性与未来方向\n\n### 当前局限\n\n1. 依赖 LLM 质量：模式挖掘的质量直接受所选 LLM 能力的影响，较小模型可能在复杂科学概念理解上存在局限\n2. 领域适应性：虽然框架通用，但特定科学领域可能需要定制化的提示工程和反馈机制\n3. 计算资源需求：本地 GPU 模式对硬件要求较高，大规模语料处理可能需要显著计算投入\n\n### 潜在改进方向\n\n- 引入多模态支持，处理图表、公式等非文本科学内容\n- 开发领域特定的提示模板库，降低新用户上手门槛\n- 增强可视化组件，提供更直观的模式编辑和审核界面\n- 探索联邦学习范式，支持分布式敏感科学数据的协作模式挖掘\n\n---\n\n## 总结与启示\n\nSchema-Miner 代表了科学知识工程领域的一个重要进展。它展示了如何将大语言模型的自动化能力与传统知识工程方法相结合，通过人机协作实现高质量的科学模式发现。\n\n对于研究人员而言，该工具提供了一个实用的起点，用于将分散的科学文献转化为结构化的、可计算的知识表示。对于知识工程社区，Schema-Miner 的设计理念和实现经验为类似的领域知识抽取任务提供了有价值的参考。\n\n随着大语言模型能力的持续提升和科学数据开放共享的推进，类似 Schema-Miner 的工具将在加速科学发现、促进跨学科知识整合方面发挥越来越重要的作用。