OpenLLM OCR Annotator：多模态大模型驱动的 OCR 数据标注框架

介绍 OpenLLM OCR Annotator，一个支持多种主流大模型 API 的多模态 OCR 标注工具，能够自动化提取图像中的文本信息并导出为多种数据集格式，大幅降低 OCR 数据集构建成本。

• 原作者/维护者：Loong Ma（@diqiuzhuanzhuan）
• 来源平台：GitHub
• 原始标题：openllm-ocr-annotator
• 原始链接：https://github.com/diqiuzhuanzhuan/openllm-ocr-annotator
• 发布时间：2026年6月10日

---

在计算机视觉和自然语言处理交叉领域，OCR（光学字符识别）技术已成为文档数字化、信息抽取和自动化办公的核心能力。然而，高质量的 OCR 数据集构建一直是困扰研究者和开发者的难题。

传统 OCR 数据标注依赖人工逐字校对，不仅耗时费力，而且成本高昂。对于包含复杂版式、多语言混合或专业领域术语的文档，标注难度更是成倍增加。随着多模态大语言模型（Multimodal LLM）的兴起，利用视觉理解能力来自动化 OCR 标注成为可能。

OpenLLM OCR Annotator 正是为了解决这一痛点而诞生的开源工具，它将大模型的视觉理解能力与 OCR 任务相结合，提供了一套完整的自动化标注解决方案。

---

OpenLLM OCR Annotator 的最大亮点在于其广泛的模型兼容性。框架原生支持多种主流大模型 API：

• OpenAI：GPT-4 Vision、GPT-3.5 等
• Google：Gemini Pro Vision
• 阿里巴巴：Qwen 系列
• xAI：Grok
• Anthropic：Claude（即将支持）
• Mistral：即将接入

这种多模型支持策略让用户可以根据任务复杂度、成本预算和隐私需求灵活选择后端模型，避免被单一供应商锁定。

框架采用图像+文本的多模态输入方式。用户不仅可以传入待标注的图像，还可以提供上下文文本提示，帮助模型更好地理解文档场景。例如，在处理外贸单据时，可以提示模型关注"单据编号"、"交易金额"、"日期格式"等关键字段。

标注结果支持多种数据格式导出，适配不同的下游任务需求：

• JSON：结构化数据，适合程序化处理
• YAML：人类可读的配置格式
• JSONL：每行一个 JSON 对象，适合大规模数据集
• 纯文本：简单场景快速导出

即将支持的格式还包括 TSV、CSV 和 XML，进一步完善生态兼容。

---

OpenLLM OCR Annotator 采用 YAML 配置文件驱动整个标注流程，这种设计使得批量处理和复现变得极为简单。

version: "1.0"
task:
  task_id: mytask
  input_dir: "./data/images"
  output_dir: "./data/outputs"
  max_files: -1  # -1 表示处理全部文件

annotators:
  - name: my_annotator
    model: gpt-4-vision-preview
    api_key: your_api_key_here
    task: vision_extraction
    type: openai
    base_url: 'http://127.0.0.1:8879/v1'  # 支持自定义 API 端点
    enabled: true
    max_retries: 3
    max_tokens: 1000
    weight: 1
    output_format: json
    prompt_path: "./examples/prompt_templates.yaml"