章节 01
Drive-Reason VLA 2 Super:为自动驾驶车辆打造的推理模型开源发布
原作者与来源
- 原作者/维护者:HorizenKR
- 来源平台:github
- 原始标题:drive-reason-vla
- 原始链接:https://github.com/HorizenKR/drive-reason-vla
- 来源发布时间/更新时间:2026-08-05T00:42:03Z
正文
HorizenKR发布Drive-Reason VLA 2 Super,一个72亿参数的开源视觉-语言-动作推理模型,专为自动驾驶车辆设计。该模型引入"先思考后行动"机制,在感知与决策之间增加推理阶段,使每一次驾驶动作都可解释、可审计。
章节 01
\n摄像头/激光雷达帧 → 场景编码 → 思考(场景图、风险评估、规划)\n │\n ▼\n 动作输出(10Hz)←── 安全门(30Hz)\n\n\n在每一个控制周期,模型都会回答三个核心问题:\n\n1. 世界是什么样的? —— 识别物体类别、速度、车道、交通规则\n2. 可能出现什么问题? —— 计算碰撞时间、遮挡风险、规则违规、意图预测\n3. 最安全的下一步计划是什么? —— 对候选轨迹按风险排序\n\n这种"先思考后行动"的机制使每一次失败都变得可解释——每个动作都附带推理依据,安全系统和人类操作员都可以审计。\n\n## 技术架构与模型规格\n\nDrive-Reason VLA 2 Super采用了Vision-Language-Action(VLA)架构,这是多模态大模型在物理世界交互中的前沿应用。\n\n| 属性 | 规格 |\n|---|---|\n| 架构 | Vision-Language-Action(SigLIP ViT-SO400M + Qwen2.5-7B + 4层MLP头)|\n| 参数量 | 72亿(活跃参数)|\n| 上下文长度 | 32,768 tokens · 32帧视频 @ 15fps |\n| 动作频率 | 10Hz控制 · 30Hz安全门 |\n| 规划视野 | 8秒 |\n| 适用场景 | 自动驾驶出租车、卡车、班车、配送车、拖拉机、机器人车队 |\n| 许可证 | OpenMDW-1.1(允许商业使用)|\n\n该架构选择体现了工程上的深思熟虑:SigLIP提供强大的视觉理解能力,Qwen2.5-7B作为语言 backbone 提供推理能力,而专门的MLP动作头则将高层推理转化为具体的控制指令。\n\n## 部署性能与硬件适配\n\n对于自动驾驶系统而言,延迟和功耗是关键的部署指标。Drive-Reason VLA针对NVIDIA的主流车载计算平台进行了深度优化:\n\n| 平台 | 延迟 | 功耗 | 备注 |\n|---|---|---|---|\n| NVIDIA Orin(64W模式) | 48ms | 55W | 单摄像头,batch=1 |\n| NVIDIA Thor(110W模式) | 22ms | 110W | 多摄像头+激光雷达,batch=4 |\n\n22毫秒的推理延迟意味着模型可以在45Hz的频率下运行,远高于10Hz的控制输出频率,这为安全门检查留出了充足的时间窗口。项目仓库提供了TensorRT引擎、ONNX导出工具和安全MCU接口,大大降低了实际部署的门槛。\n\n## 安全设计:多层防护体系\n\n安全是自动驾驶系统的生命线。Drive-Reason VLA采用了纵深防御的安全架构:\n\n安全门机制:30Hz运行的安全门在模型输出的动作指令到达执行器之前进行最终检查,使用硬编码的运动学和危险阈值进行拦截。\n\n可解释性:每个动作都附带推理依据,形成审计日志,便于事后分析和监管审查。\n\n优雅降级:当推理失败时,系统会按"推理模式 → 滑行模式 → 安全停车"的阶梯降级,整个过程小于50毫秒。\n\n隐私保护:模型完全在车载硬件上运行,原始摄像头画面不会离开车辆,训练数据经过差分隐私过滤。\n\n## 微调与下游任务适配\n\n项目提供了LoRA适配器,支持常见下游任务的快速微调:\n\n- 密集城区自动驾驶出租车:应对复杂的城市交通环境\n- 高速公路卡车编队:实现车队协同驾驶\n- 最后一公里配送:适应低速、高频停靠场景\n- 农业拖拉机自主作业:支持农田作业的特殊需求\n\n训练流程支持监督微调(SFT)和基于GRPO的强化学习(RLVR),后者特别针对安全性进行了奖励塑形。\n\n## 开源生态与未来展望\n\nDrive-Reason VLA的发布遵循OpenMDW-1.1许可证,这是一个允许商业使用的开源模型许可证。这种开放策略与封闭的黑盒自动驾驶系统形成鲜明对比——开放模型可以接受全球安全研究者的审查,漏洞可以被更快发现和修复,技术也可以被更广泛地验证。\n\n项目仓库包含了完整的推理、训练、部署和评估工具链,从权重下载脚本到闭环仿真环境一应俱全。这种端到端的开源不仅降低了研究和开发的门槛,也为建立行业标准和安全基准提供了基础。\n\n随着机器人技术的快速发展,自动驾驶车辆正成为具身智能(Embodied AI)最先落地的场景之一。Drive-Reason VLA展示了大语言模型的推理能力如何与物理世界交互相结合,这或许预示着一个新时代的到来——在这个时代里,机器不仅能感知世界,更能理解世界、推理世界,并在此基础上做出安全、可解释的决策。