Chat-Scene 是一个多模态大语言模型，专门用于 3D 场景理解。它通过对象标识符（Object Identifiers）桥接 3D 场景与大语言模型，在 3D 定位、描述生成和问答任务上取得了领先性能，并在 ScanRefer 和 Scan2Cap 基准测试中排名第一。

Chat-Scene：连接 3D 场景与大语言模型的多模态理解框架\n\n## 背景：3D 场景理解的挑战\n\n随着大语言模型（LLM）在文本理解和生成方面取得突破性进展，研究者开始探索如何将这种能力扩展到三维世界。然而，3D 场景理解面临独特的挑战：\n\n1. 数据表示的复杂性：3D 数据通常以点云或多视图图像形式存在，与文本的序列性质差异巨大\n2. 对象引用的歧义性：在 3D 场景中准确指代特定对象需要处理空间关系和视觉特征\n3. 多模态融合：如何有效结合 3D 几何信息、2D 视觉特征和语言理解能力\n\nChat-Scene 项目正是为了解决这些问题而诞生的。它构建了一个多模态大语言模型，能够同时处理 3D 点云和 2D 多视图图像，在 3D 场景理解任务上取得了显著进展。\n\n## 核心创新：对象标识符机制\n\nChat-Scene 的核心创新在于引入了对象标识符（Object Identifiers）机制。这一机制解决了 3D 场景中对象引用的核心问题：\n\n### 问题背景\n\n传统的 3D 场景理解系统在处理自然语言查询时，常常难以准确理解用户指的是哪个对象。例如，当用户说"那个红色的椅子"时，系统需要：\n\n1. 识别场景中的所有椅子\n2. 筛选出红色的椅子\n3. 处理可能存在多个红色椅子的情况\n\n### 对象标识符方案\n\nChat-Scene 为场景中的每个对象分配唯一的标识符，并在模型的输入表示中显式编码这些标识符。这使得：\n\n- 精确引用：模型可以直接通过标识符指代对象，避免歧义\n- 跨模态对齐：3D 点云特征、2D 图像特征和语言表示通过标识符建立关联\n- 上下文感知：标识符携带对象的位置、类别和关系信息\n\n## 技术架构\n\nChat-Scene 的技术架构包含多个关键组件：\n\n### 1. 多模态编码器\n\n系统同时处理两种输入模态：\n\n3D 点云处理：\n- 使用 Mask3D 进行对象检测和分割\n- 提取每个对象的几何特征\n- 通过对象标识符与语言模型对齐\n\n2D 图像处理：\n- 利用 DINOv2 从多视图图像提取视觉特征\n- 为每个对象生成 2D 表示\n- 通过跟踪机制处理视频输入（当 3D 数据不可用时）\n\n### 2. 大语言模型骨干\n\nChat-Scene 基于 Vicuna-7B v1.5 构建，采用 LoRA 进行高效微调。这种设计平衡了性能和效率：\n\n- 预训练知识：继承 Vicuna 的语言理解和推理能力\n- 参数高效：LoRA 只训练少量参数，降低计算成本\n- 任务适应：通过联合训练适应多种 3D 理解任务\n\n### 3. 统一训练框架\n\n项目采用单阶段联合训练策略，同时优化多个任务目标：\n\n| 任务类型 | 数据集 | 评估指标 |\n|----------|--------|----------|\n| 3D 定位 | ScanRefer、Multi3DRefer | Acc@0.25、Acc@0.5 |\n| 描述生成 | Scan2Cap、Nr3D Caption | CIDEr、BLEU-4 |\n| 视觉问答 | ScanQA、SQA3D | EM（精确匹配） |\n| 对象对齐 | ScanRefer 衍生 | 标识符一致性 |\n\n这种多任务训练使模型学习到更通用的 3D-语言对齐表示。\n\n## 性能表现\n\nChat-Scene 在多个权威基准测试中取得了领先成绩：\n\n### ScanRefer 基准（3D 定位）\n\n在 ScanRefer 基准测试中，Chat-Scene 取得了第一名：\n\n- Acc@0.25：55.5%（相比 v2.1 的 42.5% 有显著提升）\n- Acc@0.5：50.2%（相比 v2.1 的 38.4% 有显著提升）\n\n这些指标衡量模型根据自然语言描述定位 3D 对象的准确性。\n\n### Scan2Cap 基准（描述生成）\n\n在 Scan2Cap 基准测试中，Chat-Scene 同样排名第一：\n\n- CIDEr@0.5：77.1（相比 v2.1 的 63.9 大幅提升）\n- BLEU-4@0.5：36.3（相比 v2.1 的 31.8 有所提升）\n\n这些指标评估生成描述的质量和准确性。\n\n### 综合问答能力\n\n在 ScanQA 数据集上：\n\n- CIDEr：87.7\n- BLEU-4：14.3\n- EM（精确匹配）：54.6\n\n## 技术演进历程\n\nChat-Scene 项目经历了多个版本的迭代优化：\n\n### Chat-3D v1 (2023.08)\n\n初始版本建立了基于 LLM 的 3D 场景对话系统基础架构。\n\n### Chat-3D v2 (2023.12)\n\n引入对象标识符机制，显著改善了对象引用和定位能力。\n\n### v2.1 (2024.04)\n\n重大架构升级：\n- LLM 骨干：Vicuna v0 → Vicuna v1.5 + LoRA\n- 训练策略：三阶段训练 → 单阶段联合训练\n- 检测器：PointGroup → Mask3D\n- 批处理：1 → 32，大幅提升训练效率\n\n### Chat-Scene (2024.08)\n\n当前版本增加了 2D 多视图图像处理能力：\n- 为每个对象引入 2D Token\n- 使用 DINOv2 提取 2D 表示\n- 支持基于跟踪的视频处理（当 3D 输入不可用时）\n\n### Chat-Scene++ (2026.03)\n\n最新版本被 TPAMI 2026 接收，进一步提升了上下文丰富的对象识别能力。\n\n## 应用场景\n\nChat-Scene 的技术可应用于多个实际场景：\n\n### 智能机器人\n\n服务机器人可以通过自然语言指令理解环境中的对象：\n- "把桌子上的红色杯子拿给我"\n- "找到靠近窗户的椅子"\n\n### 增强现实\n\nAR 应用可以结合 3D 场景理解和语言交互：\n- 实时标注场景中的对象\n- 回答用户关于环境的提问\n\n### 智能家居\n\n智能助手可以理解家庭环境布局：\n- "客厅里最舒服的沙发在哪里？"\n- "厨房里有哪些电器？"\n\n### 自动驾驶\n\n辅助理解复杂交通场景：\n- 识别和描述周围车辆、行人\n- 回答关于道路环境的问题\n\n## 开源贡献与生态\n\nChat-Scene 项目完全开源，为研究社区提供了：\n\n### 代码实现\n\n- 完整的训练和推理代码\n- 预训练模型检查点\n- 详细的文档和示例\n\n### 数据集支持\n\n项目整合了多个 3D 场景理解数据集：\n- ScanRefer：3D 对象定位\n- Scan2Cap：3D 描述生成\n- ScanQA：3D 视觉问答\n- SQA3D：空间问答\n- Multi3DRefer：多对象引用\n\n### 技术依赖\n\n项目建立在多个优秀开源项目之上：\n- LLaMA / Vicuna：大语言模型基础\n- Mask3D：3D 对象检测\n- DINOv2：视觉特征提取\n- DEVA：视频对象跟踪\n\n## 使用方法\n\nChat-Scene 的使用流程清晰简洁：\n\n### 环境准备\n\nbash\nconda create -n chat-scene python=3.9.17\nconda activate chat-scene\nconda install pytorch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 pytorch-cuda=11.8 -c pytorch -c nvidia\npip install -r requirements.txt\n\n\n### 下载模型\n\n从 Hugging Face 下载 Vicuna-7B v1.5 和预训练检查点。\n\n### 训练\n\n配置 run.sh 中的训练标签，支持多数据集联合训练：\n\nbash\ntrain_tag=\"scanrefer#scan2cap#scanqa#sqa3d#multi3dref#nr3d_caption#obj_align\"\nbash scripts/run.sh\n\n\n### 推理\n\n设置评估模式和预训练路径后即可运行推理。\n\n## 总结与展望\n\nChat-Scene 代表了 3D 场景理解领域的重要进展。通过对象标识符机制，它成功桥接了 3D 几何世界与大语言模型的语义理解能力。项目在多个基准测试中的领先表现证明了这一方法的有效性。\n\n随着多模态 AI 的持续发展，我们可以期待：\n\n1. 更丰富的模态融合：整合音频、触觉等更多感知模态\n2. 实时性能优化：降低延迟，支持实时交互场景\n3. 泛化能力提升：从特定场景扩展到开放世界理解\n4. 应用生态成熟：从研究原型走向实际产品部署\n\nChat-Scene 为这一未来奠定了坚实的技术基础。

Chat-Scene：连接 3D 场景与大语言模型的多模态理解框架\n\n背景：3D 场景理解的挑战\n\n随着大语言模型（LLM）在文本理解和生成方面取得突破性进展，研究者开始探索如何将这种能力扩展到三维世界。然而，3D 场景理解面临独特的挑战：\n\n1. 数据表示的复杂性：3D 数据通常以点云或多视图图像形式存在，与文本的序列性质差异巨大\n2. 对象引用的歧义性：在 3D 场景中准确指代特定对象需要处理空间关系和视觉特征\n3. 多模态融合：如何有效结合 3D 几何信息、2D 视觉特征和语言理解能力\n\nChat-Scene 项目正是为了解决这些问题而诞生的。它构建了一个多模态大语言模型，能够同时处理 3D 点云和 2D 多视图图像，在 3D 场景理解任务上取得了显著进展。\n\n核心创新：对象标识符机制\n\nChat-Scene 的核心创新在于引入了对象标识符（Object Identifiers）机制。这一机制解决了 3D 场景中对象引用的核心问题：\n\n问题背景\n\n传统的 3D 场景理解系统在处理自然语言查询时，常常难以准确理解用户指的是哪个对象。例如，当用户说"那个红色的椅子"时，系统需要：\n\n1. 识别场景中的所有椅子\n2. 筛选出红色的椅子\n3. 处理可能存在多个红色椅子的情况\n\n对象标识符方案\n\nChat-Scene 为场景中的每个对象分配唯一的标识符，并在模型的输入表示中显式编码这些标识符。这使得：\n\n- 精确引用：模型可以直接通过标识符指代对象，避免歧义\n- 跨模态对齐：3D 点云特征、2D 图像特征和语言表示通过标识符建立关联\n- 上下文感知：标识符携带对象的位置、类别和关系信息\n\n技术架构\n\nChat-Scene 的技术架构包含多个关键组件：\n\n1. 多模态编码器\n\n系统同时处理两种输入模态：\n\n3D 点云处理：\n- 使用 Mask3D 进行对象检测和分割\n- 提取每个对象的几何特征\n- 通过对象标识符与语言模型对齐\n\n2D 图像处理：\n- 利用 DINOv2 从多视图图像提取视觉特征\n- 为每个对象生成 2D 表示\n- 通过跟踪机制处理视频输入（当 3D 数据不可用时）\n\n2. 大语言模型骨干\n\nChat-Scene 基于 Vicuna-7B v1.5 构建，采用 LoRA 进行高效微调。这种设计平衡了性能和效率：\n\n- 预训练知识：继承 Vicuna 的语言理解和推理能力\n- 参数高效：LoRA 只训练少量参数，降低计算成本\n- 任务适应：通过联合训练适应多种 3D 理解任务\n\n3. 统一训练框架\n\n项目采用单阶段联合训练策略，同时优化多个任务目标：\n\n| 任务类型 | 数据集 | 评估指标 |\n|----------|--------|----------|\n| 3D 定位 | ScanRefer、Multi3DRefer | Acc@0.25、Acc@0.5 |\n| 描述生成 | Scan2Cap、Nr3D Caption | CIDEr、BLEU-4 |\n| 视觉问答 | ScanQA、SQA3D | EM（精确匹配） |\n| 对象对齐 | ScanRefer 衍生 | 标识符一致性 |\n\n这种多任务训练使模型学习到更通用的 3D-语言对齐表示。\n\n性能表现\n\nChat-Scene 在多个权威基准测试中取得了领先成绩：\n\nScanRefer 基准（3D 定位）\n\n在 ScanRefer 基准测试中，Chat-Scene 取得了第一名：\n\n- Acc@0.25：55.5%（相比 v2.1 的 42.5% 有显著提升）\n- Acc@0.5：50.2%（相比 v2.1 的 38.4% 有显著提升）\n\n这些指标衡量模型根据自然语言描述定位 3D 对象的准确性。\n\nScan2Cap 基准（描述生成）\n\n在 Scan2Cap 基准测试中，Chat-Scene 同样排名第一：\n\n- CIDEr@0.5：77.1（相比 v2.1 的 63.9 大幅提升）\n- BLEU-4@0.5：36.3（相比 v2.1 的 31.8 有所提升）\n\n这些指标评估生成描述的质量和准确性。\n\n综合问答能力\n\n在 ScanQA 数据集上：\n\n- CIDEr：87.7\n- BLEU-4：14.3\n- EM（精确匹配）：54.6\n\n技术演进历程\n\nChat-Scene 项目经历了多个版本的迭代优化：\n\nChat-3D v1 (2023.08)\n\n初始版本建立了基于 LLM 的 3D 场景对话系统基础架构。\n\nChat-3D v2 (2023.12)\n\n引入对象标识符机制，显著改善了对象引用和定位能力。\n\nv2.1 (2024.04)\n\n重大架构升级：\n- LLM 骨干：Vicuna v0 → Vicuna v1.5 + LoRA\n- 训练策略：三阶段训练 → 单阶段联合训练\n- 检测器：PointGroup → Mask3D\n- 批处理：1 → 32，大幅提升训练效率\n\nChat-Scene (2024.08)\n\n当前版本增加了 2D 多视图图像处理能力：\n- 为每个对象引入 2D Token\n- 使用 DINOv2 提取 2D 表示\n- 支持基于跟踪的视频处理（当 3D 输入不可用时）\n\nChat-Scene++ (2026.03)\n\n最新版本被 TPAMI 2026 接收，进一步提升了上下文丰富的对象识别能力。\n\n应用场景\n\nChat-Scene 的技术可应用于多个实际场景：\n\n智能机器人\n\n服务机器人可以通过自然语言指令理解环境中的对象：\n- "把桌子上的红色杯子拿给我"\n- "找到靠近窗户的椅子"\n\n增强现实\n\nAR 应用可以结合 3D 场景理解和语言交互：\n- 实时标注场景中的对象\n- 回答用户关于环境的提问\n\n智能家居\n\n智能助手可以理解家庭环境布局：\n- "客厅里最舒服的沙发在哪里？"\n- "厨房里有哪些电器？"\n\n自动驾驶\n\n辅助理解复杂交通场景：\n- 识别和描述周围车辆、行人\n- 回答关于道路环境的问题\n\n开源贡献与生态\n\nChat-Scene 项目完全开源，为研究社区提供了：\n\n代码实现\n\n- 完整的训练和推理代码\n- 预训练模型检查点\n- 详细的文档和示例\n\n数据集支持\n\n项目整合了多个 3D 场景理解数据集：\n- ScanRefer：3D 对象定位\n- Scan2Cap：3D 描述生成\n- ScanQA：3D 视觉问答\n- SQA3D：空间问答\n- Multi3DRefer：多对象引用\n\n技术依赖\n\n项目建立在多个优秀开源项目之上：\n- LLaMA / Vicuna：大语言模型基础\n- Mask3D：3D 对象检测\n- DINOv2：视觉特征提取\n- DEVA：视频对象跟踪\n\n使用方法\n\nChat-Scene 的使用流程清晰简洁：\n\n环境准备\n\nbash\nconda create -n chat-scene python=3.9.17\nconda activate chat-scene\nconda install pytorch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 pytorch-cuda=11.8 -c pytorch -c nvidia\npip install -r requirements.txt\n\n\n下载模型\n\n从 Hugging Face 下载 Vicuna-7B v1.5 和预训练检查点。\n\n训练\n\n配置 run.sh 中的训练标签，支持多数据集联合训练：\n\nbash\ntrain_tag=\"scanrefer#scan2cap#scanqa#sqa3d#multi3dref#nr3d_caption#obj_align\"\nbash scripts/run.sh\n\n\n推理\n\n设置评估模式和预训练路径后即可运行推理。\n\n总结与展望\n\nChat-Scene 代表了 3D 场景理解领域的重要进展。通过对象标识符机制，它成功桥接了 3D 几何世界与大语言模型的语义理解能力。项目在多个基准测试中的领先表现证明了这一方法的有效性。\n\n随着多模态 AI 的持续发展，我们可以期待：\n\n1. 更丰富的模态融合：整合音频、触觉等更多感知模态\n2. 实时性能优化：降低延迟，支持实时交互场景\n3. 泛化能力提升：从特定场景扩展到开放世界理解\n4. 应用生态成熟：从研究原型走向实际产品部署\n\nChat-Scene 为这一未来奠定了坚实的技术基础。