自动驾驶中的开放式指令实现：LLM驱动的多规划器调度框架

本文提出一种基于大语言模型（LLM）的指令实现框架，通过调度多个MPC运动规划器，将乘客自然语言指令转化为车辆可执行控制信号，实现语义推理与车辆控制的有效解耦。该框架解决了传统自动驾驶系统处理开放式指令的局限，提升了任务完成率、安全性与决策可解释性。

人机交互新挑战

自动驾驶技术发展中，现有HMI研究多聚焦驾驶员交互，忽视乘客开放式操控需求（如"开慢一点欣赏风景"等指令），其转化为控制信号的准确性、可解释性是关键挑战。

传统方法局限

传统分层架构依赖预定义命令映射，缺乏开放式语言处理灵活性；高层语义直接映射低层控制的紧耦合设计，导致复杂指令处理困难及决策黑盒问题，影响安全性验证。

框架采用调度中心化设计，实现语义推理与控制解耦：

1. LLM语义解析层：深度理解指令意图、约束与优先级（如解析"尽快到达但不颠簸"的双目标权衡）；
2. 调度脚本生成层：基于解析结果生成调度指令，动态选择组合多MPC规划器（各负责特定优化目标如最短路径、平稳行驶）；
3. 轨迹转控制层：复用成熟控制策略，将规划轨迹转化为油门、刹车等控制信号。 架构构建透明可追溯决策链，便于安全审计与故障排查。

闭环评估基准

构建模拟真实场景的闭环评估基准，支持指令理解准确性、任务完成率、安全合规性等多维度评估，解决现有工具缺失问题。

实验结果

• 任务完成率显著优于基线，得益于LLM语义理解与多规划器灵活性；
• 通过智能脚本复用与缓存控制LLM查询成本；
• 安全合规性与专业自动驾驶方法相当；
• 对LLM推理延迟鲁棒，底层调度可基于已有脚本持续运行。

技术启示

证明自然语言作为自动驾驶控制接口的可行性，调度中心化架构可推广至其他机器人语义-控制协同场景。

未来方向

扩展上下文感知（结合乘客偏好、路况）、探索多模态交互（语音+手势+视觉）、提升实时性与边缘部署能力。

结语

该框架为构建自然、透明、可靠的自动驾驶交互体验迈出重要一步，未来有望让自动驾驶汽车成为理解乘客意图的智能出行伙伴。