AutoVLA：自适应推理与强化微调驱动的端到端自动驾驶视觉-语言-动作模型

UCLA Mobility Lab提出的NeurIPS 2025工作AutoVLA，通过视觉-语言-动作统一建模、自适应推理机制和强化学习微调，旨在构建更安全、更智能的端到端自动驾驶系统。项目开源于GitHub，发布时间为2026年5月29日。

传统端到端自动驾驶分模块设计存在信息传递损耗和误差累积问题；视觉-语言模型（VLM）虽场景理解能力强，但应用于自动驾驶面临实时性、安全性、长尾场景三大挑战。AutoVLA由此提出，以统一建模解决模块间问题，结合自适应推理和强化学习应对VLM应用难题。

1. 视觉-语言-动作统一架构：整合感知、推理、动作模块，实现端到端优化、增强可解释性、迁移预训练知识；2. 自适应推理机制：根据场景复杂度动态调整推理深度（简单场景浅层、复杂/关键场景深层），平衡效率与决策质量；3. 强化学习微调（RFT）：设计综合奖励函数（安全、舒适、效率），结合PPO算法和人类反馈优化策略。

• 多模态输入：处理环视图像（6摄像头）、车辆状态、导航信息、历史轨迹，视觉编码器用ViT支持高分辨率；- 语言化场景描述：将视觉特征转化为结构化语言（如场景、周围车辆、行人及建议动作），提升可解释性；- 动作生成：采用混合动作空间（离散决策+连续控制），兼顾可解释性与精细度。

在nuScenes、Waymo、CARLA仿真数据集评估，结果优于基线：规划精度L2误差降27%（0.85→0.62m）、碰撞率降67%（0.12%→0.04%）、舒适度评分升18%（7.2→8.5）、推理延迟降21%（120→95ms）。消融实验验证：移除自适应推理延迟增40%/复杂场景性能降15%；移除RFT碰撞率升0.05%/舒适度降0.7；单一视角输入规划精度降0.16m。

• 计算效率优化：INT8量化（体积减75%/速度提2倍）、知识蒸馏（小模型保持性能）、动态批处理；- 安全冗余：规则兜底（关键场景覆盖模型决策）、不确定性量化（低置信度触发接管）、持续监控（异常自动降级）。

当前局限：仿真到现实鸿沟、极端天气性能待提升、长尾场景数据不足、峰值计算需求高；未来方向：集成世界模型（长远规划）、多车协同、持续学习（适应新场景）、神经符号融合（极端场景可靠性）。

AutoVLA核心贡献：统一架构简化设计、自适应计算平衡效率性能、强化学习超越人类策略、语言表示增强可解释性。启示：自动驾驶需针对性创新（架构/推理/训练），而非盲目追大模型，助力端到端技术从研究走向应用。