CAPruner：通过概念相邻场景图剪枝增强大语言模型的3D空间推理能力

CAPruner是一种基于概念相邻性的场景图剪枝方法，旨在解决大语言模型（LLMs）处理3D空间推理任务时冗余信息淹没关键关系的问题。该方法通过智能识别并保留与查询概念语义相邻的场景元素，有效过滤冗余信息，提升模型推理性能与效率。

大语言模型在自然语言处理上进展显著，但处理复杂3D空间推理时面临挑战：3D场景包含大量物体及关系形成复杂场景图，直接输入LLMs易导致冗余信息干扰关键关系。现有方法多采用简单启发式或随机采样剪枝，缺乏针对性，可能移除关键关系节点，如何智能保留有价值信息成为关键问题。

核心思想

CAPruner的核心是利用"概念相邻性"：3D推理中与查询概念语义相邻的场景元素更具信息价值（如回答"沙发旁边有什么"时，茶几、地毯比冰箱更相关）。

技术方法

1. 场景图表示与编码：将3D场景转为结构化场景图（节点为物体，边为空间关系），通过视觉-语言编码器获得语义嵌入。
2. 概念相邻性度量：综合语义相似度（与查询的相似度）、拓扑邻近性（图中心性与连通性）、关系路径权重（短且明确的路径权重高）计算节点重要性分数。
3. 自适应剪枝：根据查询复杂度和场景图密度动态调整剪枝阈值，简单查询激进剪枝，复杂任务保留更多上下文。

CAPruner在ScanNet、3DSSG等3D-VQA基准测试中表现优异：

• 推理准确率较基线提升8-15个百分点；
• 剪枝后场景图节点减少60-70%，保留关键信息；
• 模型处理时间减少约40%；
• 多跳推理（如"坐在沙发上的人能否看到电视"）表现突出，有效保留中间推理节点。

CAPruner可应用于：

• 智能家居与机器人导航：帮助服务机器人理解空间布局，执行复杂指令；
• AR/VR：准确理解3D场景关系，支持虚拟对象合理放置与交互；
• 自动驾驶：辅助理解交通场景空间关系（如超车空间判断）。

CAPruner存在以下待探索方向：

1. 动态场景处理：当前针对静态场景，需适配动态3D环境（如移动物体）；
2. 跨模态融合：深化视觉、语言、深度信息融合，提升复杂空间关系理解；
3. 零样本泛化：增强模型在未见过场景和物体类别的泛化能力。

CAPruner通过概念相邻性剪枝准则，为3D空间推理提供高效场景图处理方法，显著提升LLMs在3D-VQA任务的表现，为多模态大模型发展提供思路。随着具身智能和机器人技术发展，此类空间推理增强技术将在实际应用中发挥重要作用。