知识图谱增强的视觉语言模型：提升物理世界推理能力的新方法

本项目（VLM-Reasoning-Model-using-Knowledge-Graph）由tirth1263在GitHub发布（链接：https://github.com/tirth1263/VLM-Reasoning-Model-using-Knowledge-Graph，发布时间2026-05-23），核心思路是通过结合知识图谱（KG）与显式物理规则，增强视觉语言模型（VLM）的物理世界推理能力。相比微调方法，该零样本推理时增强策略更轻量、可解释，在ScienceQA物理验证集上取得了一定提升。

视觉语言模型（VLM）在图像理解、视觉问答等任务表现优异，但面对物理常识推理问题（如影子与光照、浮力与密度、热传导等）时存在局限。传统VLM缺乏显式物理知识表示，依赖训练数据统计模式猜测，难以理解物理因果规律。

项目采用神经-符号混合路径，将外部知识图谱（如ConceptNet）与VLM结合。核心步骤包括：1.物体grounding（识别问题中的物理对象）；2.知识检索（从KG获取相关物理事实）；3.语义过滤（筛选相关知识）；4.规则触发（应用手写物理规则如影子、浮力规则）；5.构建KG增强提示；6.生成答案并对比；7.消融实验验证组件贡献。相比LoRA微调，该零样本方法避免了模板记忆问题，泛化性更好。

在ScienceQA物理验证集（121题）上的评估显示：PaliGemma-3B基线准确率28.1%；仅用ConceptNet KG提升至30.6%；KG+物理规则进一步提升至31.4%。消融实验表明随机知识会损害表现，验证了知识质量的重要性；LoRA微调因模板记忆导致泛化不佳。

项目启示：推理时显式知识注入可能比训练时隐式学习更有效（物理常识结构化特征适合符号表示）；神经-符号混合架构可互补短板；可解释推理过程适合教育场景（帮助学生理解物理原理）；框架可扩展至化学、生物等领域。

当前局限：手写规则覆盖范围有限（复杂场景需扩展）；手工编写规则成本高；仅在小模型上验证；推理延迟增加。未来方向：自动抽取物理规则；验证对大模型的增益；优化检索效率降低延迟。

本项目展示了知识图谱+显式规则增强VLM物理推理的可行性。零样本推理时增强方法轻量、可解释、易于迭代，为神经-符号混合AI系统提供了实践案例。虽提升有限，但随着知识工具成熟，该方法有望在更多领域应用。