Chartographer：视觉语言模型图表推理能力的反事实评估框架

Chartographer是滑铁卢大学计算语言学实验室开源的图表反事实生成框架，旨在系统评估视觉语言模型（VLMs）是否真正具备图表推理能力。其核心思路是构造原始图表、基础重构和种子控制的反事实变体，通过这些变体测试模型是否依赖视觉捷径而非真实推理。此外，框架采用可执行Python代码验证答案，确保评估客观可复现。项目已开源（GitHub链接：https://github.com/compling-wat/Chartographer），配套资源包括arXiv论文（https://arxiv.org/abs/2605.27311）和Hugging Face数据集（https://huggingface.co/datasets/1fanjz/Chartographer）。

现有VLMs图表理解评估存在根本性问题：模型可能通过视觉捷径或先验知识回答问题，而非真正理解图表内容。例如，回答'图表中最高值'时，模型可能依赖常见模式记忆而非分析视觉元素。这种'伪理解'在标准基准中难以发现，因测试样本与训练数据分布相似。Chartographer项目正是为解决此难题而生，通过生成反事实图表变体构建更严格的测试框架。

Chartographer的核心方法论是将图表问答样本转换为反事实图表-问题家族，包含三个关键成员：

1. 原始图表：保持数据不变，作为基准测试起点。
2. 基础重构：用重构模型从零生成图表，测试模型对图表结构的理解能力。
3. 种子控制的反事实变体：通过控制随机种子生成视觉呈现不同但数据相同的变体（如颜色、布局、图表类型变化）。关键洞察：依赖捷径的模型表现会波动，真正推理的模型表现稳定。

可执行问答逻辑

框架使用可执行Python代码验证答案正确性，消除主观性：

• 从图表数据提取精确数值
• 执行数学计算（求和、平均等）
• 验证模型回答准确性

系统工作流程

1. 图表重构阶段：make reconstruction-workflow启动，包括分析原始图表、生成描述与数据提取、重建可视化、多轮自我优化（通过REVISION_ROUNDS控制）。
2. 问答生成阶段：make qa-workflow生成带验证代码的问答对。
3. 反事实生成阶段：make seed-workflow生成种子控制的变体。
4. 数据集导出与评估：make export-family-dataset打包数据集；make prediction-workflow运行VLM预测并评估推理稳定性。

支持的模型与API

Chartographer支持多种VLM：

• OpenAI API（GPT-4V系列）
• Anthropic API（Claude3视觉版）
• 本地Hugging Face模型（需指定权重路径）

数据集配置

用JSON配置文件定义：本地模板路径、问题/图像/答案列映射、变体列和家族ID列，适配现有图表问答数据集。

代码结构

分层架构：

• src/clients：API和本地VLM客户端
• src/common：数据集、答案和预测I/O工具
• src/config：模型别名和任务提示词
• src/pipeline：重构、QA、数据集导出、预测等模块

使用场景

1. VLM研究者：严格评估工具，发现真实能力与表面性能的差距，指导模型改进。
2. VLM开发者：作为回归测试工具，确保模型更新后推理能力不退化。
3. 数据可视化领域：反事实图表家族可用于探索人类与机器对视觉元素的敏感度差异。

项目现状

Chartographer已开源（Apache2.0许可证），提供完整文档、示例配置和Makefile工作流。获取方式：

• GitHub：https://github.com/compling-wat/Chartographer
• arXiv论文：https://arxiv.org/abs/2605.27311
• Hugging Face数据集：https://huggingface.co/datasets/1fanjz/Chartographer

Chartographer代表AI评估方法论的重要进步，在VLMs能力快速提升的今天，区分'真正理解'与'模式匹配'至关重要。通过反事实生成和可执行验证，框架为该难题提供系统性解决方案。

展望：随着多模态大模型普及，此类严格评估框架将成为确保AI系统可靠性的关键基础设施。Chartographer的开源有望推动更鲁棒的视觉语言模型发展。