PolyChartQA：多语言图表问答基准测试数据集

PolyChartQA是针对多语言图表问答任务设计的基准测试数据集，旨在评估大型视觉语言模型（LVLM）的图表理解能力。它解决现有基准多语言支持不足、图表类型单一等问题，核心贡献包括多语言覆盖、多样化图表类型、多层次问题设计及标准化评估协议，为学术研究和实际应用提供关键工具。

视觉语言模型的图表理解挑战

大型视觉语言模型（如GPT-4V、Claude3）在图表理解中存在明显短板：数值提取错误、趋势判断失误、多语言支持不足、复杂推理困难，限制其在全球化场景的应用。

PolyChartQA的诞生目的

为填补空白，PolyChartQA提供多语言图表问答基准，核心贡献：

• 多语言覆盖（中、日、德等）
• 多样图表类型（柱状、折线、饼图等）
• 多层次问题设计（从数据提取到复杂推理）
• 标准化评估协议

它助力评估和提升LVLM的图表理解能力。

图表类型多样性

包含柱状图、折线图、饼图、散点图及组合图表，覆盖不同数据可视化场景。

问题类型分层

遵循由浅入深原则：

• Level1：数据提取
• Level2：简单比较
• Level3：趋势分析
• Level4：数学运算
• Level5：复杂推理

多语言支持

覆盖中文、日语、德语等，评估模型跨语言迁移能力及语言系统性弱点。

准确性指标

• 精确匹配：答案完全一致
• 语义等价：表述不同但语义相同
• 数值容差：允许±1%误差

细粒度分析

• 按图表类型、问题难度、语言分析表现
• 错误类型分类（数值误读、趋势误判等）

对比基准

包含GPT-4V、Claude3、Gemini Pro Vision等主流模型的测试结果，便于模型间比较。

学术研究价值

• 模型能力诊断：细粒度错误分析
• 跨模型比较：标准化协议支持直接对比
• 多语言研究：提供跨语言迁移数据
• 训练数据：用于监督学习或强化学习

实际应用场景

• 商业智能：自动提取报表洞察
• 金融分析：辅助财报图表解读
• 教育辅助：帮助学生理解图表
• 无障碍服务：为视障用户描述图表
• 内容审核：检查图表与文字一致性

快速开始

1. 数据下载：通过脚本获取图表图像和标注
2. 环境配置：安装依赖并配置模型API
3. 推理运行：使用示例代码执行模型推理
4. 结果评估：生成详细性能报告

自定义扩展

• 新增语言：翻译数据集至更多语言
• 新增图表类型：添加雷达图、树状图等
• 新增问题类型：设计复杂推理问题
• 对抗样本：生成误导性图表测试鲁棒性

局限性

• 静态图表：仅包含静态图像，无交互式/动态图表
• 合成数据：部分图表为程序生成，与真实场景有差异
• 确定答案：无开放式或主观性问题

未来方向

• 引入真实世界图表数据
• 支持交互式图表理解
• 添加开放式问题类型
• 结合文档上下文分析图表
• 支持视频中的图表分析

PolyChartQA为LVLM图表理解能力提供全面、多语言、多层次的评估平台，帮助研究者诊断模型边界，为开发更强图表理解系统指明方向。随着数据可视化普及和AI全球化，图表理解将成为LVLM核心竞争力，PolyChartQA在该领域贡献显著。