SymbolBench：多模态大语言模型视觉符号理解能力的全面评测基准

清华大学知识工程实验室推出SymbolBench，这是一个专门评估多模态大语言模型（MLLMs）在离散视觉符号识别、解析和推理能力的综合性基准测试，填补了当前评测体系在结构化视觉理解方面的空白。该基准遵循全面性、层次性、实用性设计原则，涵盖多种符号类型与多维度任务，揭示了当前主流模型在符号理解上的能力分层现象，并为研究社区提供改进方向。

随着GPT-4V、Gemini等MLLMs快速发展，现有评测多聚焦自然图像理解（如物体识别、场景描述），但对离散视觉符号（数学公式、流程图、电路图等）的评估薄弱。这些符号具有高度结构化和抽象性，要求模型理解元素间的空间关系、逻辑层次和语义关联，SymbolBench正是为填补这一空白而生。

SymbolBench设计遵循三大原则：

1. 全面性：涵盖数学表达式、逻辑图表、工程图纸等多种符号类型；
2. 层次性：从基础符号识别，到解析结构化表示，再到符号推理与计算；
3. 实用性：任务贴近真实场景（如公式计算、流程图逻辑理解）。 评测任务包括符号识别与定位、解析与结构化、推理与计算、跨符号类型迁移四大维度。

数据集构建采用真实（学术论文、教材）与合成数据结合，覆盖多种视觉样式（手绘、软件生成、扫描）；标注包含符号边界框、结构化结果（LaTeX、JSON）及任务答案；评测指标差异化：识别用精确率/召回率/F1，解析用树编辑距离，推理用准确率。

初步评测显示主流模型能力分层明显：

• 基础识别任务准确率较高；
• 解析任务易出现结构错误（如嵌套层次混淆）；
• 推理任务存在幻觉（生成与符号含义不符结论）；
• 不同模型在符号类型上表现差异大，反映训练数据符号占比不足。

1. 符号理解需专用模块：不应视为通用视觉子集，可引入增强注意力机制或符号感知预训练；
2. 增加高质量符号数据：提升训练数据中符号占比，尤其是带解析标注和推理链条的数据；
3. 重视领域专用基准：SymbolBench为研究提供明确评估框架，指导后续方向。

SymbolBench作为首个离散视觉符号评测基准，揭示了当前MLLMs的能力边界，为模型改进指明方向。随着多模态AI渗透加深，结构化视觉信息理解将成为实用价值的重要标准，SymbolBench是这一方向的关键一步。