HERMES++：融合3D场景理解与预测的统一驾驶世界模型

自动驾驶技术面临3D场景语义理解与未来几何预测分离的核心困境，现有世界模型往往偏向一端。HERMES++通过BEV表示、LLM增强的世界查询、当前-未来链接、联合几何优化四大创新设计，首次将两者整合到单一框架，在多项基准测试中超越专业方法，为自动驾驶系统提供综合能力。

世界模型对自动驾驶的路径规划、风险预测至关重要，但现有模型存在偏向性：多数聚焦未来场景生成却忽视当前语义理解；LLM虽擅长推理却缺乏几何演化的物理直觉。这种语义理解与物理模拟的鸿沟严重限制系统整体性能，智能驾驶需同时看懂当前场景并预见未来变化。

HERMES++采用鸟瞰图（BEV）表示作为基础架构，整合多摄像头空间信息到LLM兼容结构，既保留场景几何关系又便于语言模型处理。该方式解决传统多视角融合的视角不一致、信息冗余问题，为后续理解和预测任务奠定基础。

系统利用LLM语义理解能力分析当前场景（识别物体类别、空间关系、推断意图），将结果编码为世界查询注入预测模块，实现跨任务协同学习，让几何预测基于场景深入理解而非盲目外推。

设计当前-未来链接组件，将几何演化条件化于语义上下文，确保预测结果物理合理且与场景理解一致（如减速卡车的点云变化符合减速模式），显著提升预测稳定性和可信度。

引入联合几何优化策略，结合显式几何约束（共面性、平行性等）与隐式潜在正则化（潜在空间平滑性），使内部表示与几何感知先验对齐，生成符合物理规律且视觉连贯的未来场景。

HERMES++在未来点云预测任务超越所有专门方法，3D场景理解任务也超过专注理解的专业方法；同时跨任务迁移泛化能力强，证明统一框架未牺牲理解能力反而通过预测辅助提升性能。

HERMES++标志驾驶世界模型进入新阶段，证明语义理解与几何预测可相互增强；行业层面可开发更统一高效系统，降低部署维护成本并提升复杂场景鲁棒性；方法论可推广到机器人操作、VR/AR等领域；团队已开源模型代码，助力社区推动自动驾驶技术发展。