机器心智意象：用视觉脚手架解决对话中的表征模糊问题

研究团队提出主动视觉脚手架框架，将对话状态增量式转换为持久视觉历史，以解决情境对话中的"表征模糊"问题。该框架在IndiRef基准上的测试显示，混合多模态表示显著优于纯文本方法，为对话系统维持精确共同基础提供了新路径。

人类对话依赖共享情境构成的"共同基础"，能自然维护对具体对象的精确理解。但当前基于大型语言模型的纯文本对话系统，在处理物理环境中的具体对象时，文本描述易丢失区分信息（如红苹果与红番茄的细微差异），导致"表征模糊"。这种模糊性会累积，造成"虚假grounding"，尤其在长期对话中难以维持精确指代链。

研究者从人类认知科学中的"心智意象"获得灵感。人类思考交流时依赖描绘性、持久性、可操纵且与语言互补的视觉化内部模拟。随着多模态模型（如GPT-4V、Gemini）的发展，赋予对话智能体类似"心智意象"能力成为可能，核心是主动构建和维护视觉化情境表征。

框架核心是将对话状态增量式转换为视觉表征，维护文本与视觉并行的两种表征（文本处理抽象概念，视觉处理空间关系与细节）。关键机制包括：1.增量式外部化：每当对话引入新视觉信息，主动生成/更新视觉表征（如添加物体、调整位置）；2.场景承诺：生成视觉表征时必须做出具体视觉决策（如物体大小、颜色），强制具体化以减少模糊。

在IndiRef（多轮指代消解）基准上，比较了纯文本基线、增量外部化、完整视觉脚手架、混合多模态四种设置。结果显示：增量外部化本身即提升性能；完整框架显著优于纯文本；混合多模态（灵活使用文本/视觉）表现最佳，验证了多模态互补的价值。

当前框架存在局限：1.视觉生成质量限制（复杂场景、细节处理不足）；2.计算成本高；3.仅关注视觉模态；4.缺乏长期记忆整合。未来方向包括：优化视觉生成技术、降低计算成本、扩展多模态覆盖、整合长期记忆等。

研究表明，多模态对情境对话是必要而非奢侈；主动构建视觉表征（而非被动处理）是高级对话能力的关键；未来对话系统需重新思考认知架构，整合多模态表征与推理机制，以突破纯文本的瓶颈。