GGBench：统一多模态模型的几何生成推理基准测试

GGBench是专为统一多模态模型（UMMs）设计的几何生成推理基准测试，首次将判别式理解与受控图像生成能力整合到同一评估框架中。它通过几何构造任务检验模型是否能融合语言理解与精确视觉构建能力，涵盖多维度评估体系，揭示当前模型在跨模态对齐等方面的短板，并为研究社区提供开源数据集与评估工具，推动多模态AI领域的发展。

近年统一多模态模型在视觉理解和文本生成领域进展显著，但现有评估方法常将判别式理解与无约束图像生成分开测试，难以全面衡量模型在精确视觉构造复杂推理任务中的真实能力。GGBench在此背景下应运而生，整合语言理解与精确视觉构建能力评估，为UMMs的生成推理能力提供系统化测试平台。

理想测试场景：几何构造

几何构造成为理想测试场景的原因：1. 具有明确逻辑结构与数学严谨性，要求理解语言并生成符合定理的图形；2. 涉及多推理步骤，展现思维链条；3. 正确性可通过数学规则客观验证。 GGBench包含1411个几何构造问题，涵盖基础构造、圆性质、几何变换等8类，确保评估全面性。

多维评估体系

• VLM-T：文本推理评估（1-5分），考察解题步骤逻辑性与清晰度；
• VLM-I-Mid：中间过程图像评估，关注步骤准确性、一致性与问题-方案匹配；
• VLM-I-Res：最终结果图像评估（1-5分），衡量几何精确性、标注清晰度与一致性；
• 图像质量指标：LPIPS、PSNR、SSIM等像素层面客观评估。

研究发现

1. 当前模型在几何生成推理任务中表现远未理想，即使最优模型也在复杂问题上遇显著困难；
2. 模型规划阶段表现优于执行阶段，能生成合理步骤但转化为视觉构造时偏差明显；
3. 模型在不同几何问题类型上能力差异大：基础构造易，复杂定理应用与轨迹构造极具挑战。

典型案例

• 成功案例：问题结构清晰、概念基础、步骤有限时，模型能准确解析问题、制定策略并生成规范图形；
• 失败案例：常见误解问题要求、忽略关键约束、中间步骤累积误差、生成违反定理的“幻觉”元素等。

GGBench揭示当前UMMs在精确视觉生成任务中的局限性，强调跨模态对齐的重要性（需建立语言理解与图像生成的精确对应）。其多维度评估方法能精准定位模型缺陷，为改进提供方向。此外，GGBench团队已开源数据集（Hugging Face获取）与评估工具，支持自动完成全面评估，为社区提供宝贵资源。

GGBench标志多模态模型评估进入新阶段，未来研究可深入：1. 开发几何推理针对性模型架构；2. 探索更有效跨模态对齐方法；3. 将评估框架扩展到其他精确视觉构造领域。更重要的是，GGBench倡导的多维度评估理念有望推广到广泛多模态任务，为真实世界应用中的模型能力评估树立标杆，推动整个多模态AI领域进步。