PGT：用程序化生成任务破解多模态大模型的细粒度视觉理解瓶颈

多模态大语言模型（MLLMs）在图像理解等任务取得进展，但细粒度视觉理解（如空间关系、数量推理）仍有短板。PGT（程序化生成任务）框架通过程序化生成任务提升模型细粒度视觉理解能力，实验证明可提升20%以上性能，还能作为诊断工具识别感知失败根源。

当前MLLMs在空间关系、数量推理、3D深度理解等细粒度任务表现不佳（如难以回答"左边的猫比右边的猫大吗？"）。传统观点认为源于架构局限或分辨率不足，但PGT研究指出核心问题是监督信号不足——缺乏足够细粒度训练数据学习精确视觉定位能力。

PGT核心创新：通过在图像上叠加几何基元（矩形、圆形等）生成密集监督信号。作用包括：1.解耦视觉定位与语义先验；2.低成本数据增强；3.诊断工具。技术实现：将PGT数据与LLaVA-v1.5-Instruct数据集混合，进行指令微调，任务涵盖空间关系理解、数量推理、3D/深度感知。PGT不改变模型架构，不增加推理开销，是纯粹的数据增强方法。

实验结果显示PGT有效性：

• 基础模型（LLaVA-v1.5-Instruct+PGT）：What'sUp基准提升+20%，CV-Bench-2D提升+13.3%，保持一般感知能力不下降；
• 先进模型微调：What'sUp基准提升+5.5%，CV-Bench-2D提升+8.3%。即使顶尖模型也能从PGT细粒度监督中获益。

PGT研究关键发现：许多空间推理缺陷源于监督信号不足，而非架构或分辨率限制。实践意义：1.数据工程优先（先审视训练数据监督是否足够）；2.低成本改进（无需架构改动）；3.可扩展性（程序化生成数据，不受人工标注成本限制）。

PGT验证了机器学习原则：问题形式化方式比解决方案更重要。将细粒度视觉理解重新定义为几何基元识别任务，创造清晰监督信号。对工程师/研究者的启示：在现有训练流程中加入PGT数据，可显著提升模型空间推理、数量比较等任务表现。

PGT以简洁方式解决复杂技术难题，提醒我们有效解决方案可能是更好的数据而非更复杂模型。随着MLLMs在实际场景应用，细粒度视觉理解能力是模型实用性关键，PGT提供了低成本高效的解决思路。