doPlan: A Variable-Horizon Dataset for Multi-Stage Language-Conditioned Planning in Autonomous Driving
作者: Parthib Roy, Yash Tandon, Marcus Blennemann, Giovanni Tapia Lopez, Angel Martinez-Sanchez, Mohan M. Trivedi, Ross Greer
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2026-09-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出doPlan数据集以解决多阶段语言条件规划问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多阶段规划 语言条件 自主驾驶 数据集 乘客意图 人类注释 复杂交互
📋 核心要点
- 现有语言驱动驾驶数据集主要关注短期互动，未能充分探讨乘客意图的长期性和复杂性。
- 提出doPlan数据集，专注于捕捉乘客的多阶段意图，支持更复杂的语言条件规划研究。
- 实验结果显示，模型对乘客语言的敏感性与实际行为之间存在显著差距，强调了持续意图与规划决策的连接需求。
📝 摘要（中文）
自主驾驶车辆与乘客通过自然语言互动时，需超越即时指令进行推理。乘客意图可能跨越多个行为阶段，依赖未来事件，涉及周围代理或地标，并随着驾驶条件的变化而保持相关性。现有的语言驱动驾驶数据集主要集中于短期局部互动，较少探讨这些较长时间范围的乘客意图。我们引入了doPlan，这是首个公开的人类注释真实世界数据集，旨在研究乘客语言作为持续任务上下文。基于nuPlan，doPlan包含5154条人类撰写的乘客指令，涵盖169.1小时的指令对齐上下文，注释窗口范围为30.0至508.8秒。数据集及其注释接口和支持资源已公开可用。我们评估了四种语言条件下的驾驶模型，发现对乘客语言的敏感性并未可靠地转化为与请求方向一致的行为。
🔬 方法详解
问题定义：本论文旨在解决自主驾驶中乘客语言意图的长期性和复杂性问题。现有方法主要集中于短期指令，未能有效处理乘客的多阶段意图和未来事件的影响。
核心思路：论文提出doPlan数据集，通过人类注释的真实场景数据，捕捉乘客的持续意图，支持多阶段的语言条件规划研究。这样的设计使得模型能够更好地理解和响应乘客的长期需求。
技术框架：doPlan数据集基于nuPlan构建，包含5154条指令，注释窗口从30秒到508秒不等。数据集的结构允许研究人员分析乘客意图的演变及其与驾驶决策的关系。
关键创新：最重要的创新在于引入了一个专注于长期乘客意图的公开数据集，填补了现有研究的空白。与传统短期交互数据集相比，doPlan强调了乘客意图的持续性和多阶段性。
关键设计：数据集的注释包括即时、延迟、事件条件、持续和多阶段的乘客意图，确保了对复杂场景的全面覆盖。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在2161个匹配未来操作的示例中，首次关联操作的中位时间为24.6秒，只有9.8%的操作发生在模型常见的5秒预测范围内。这表明，乘客的持续意图与实际驾驶行为之间存在显著的时间差异，强调了研究的必要性。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶系统的开发和优化，特别是在乘客交互和行为预测方面。通过更好地理解乘客的长期意图，未来的自动驾驶系统能够提供更安全、智能的驾驶体验，提升用户满意度。
📄 摘要（原文）
Autonomous vehicles interacting with passengers through natural language must reason beyond immediate commands. Passenger intent may span multiple stages of behavior, depend on future events, refer to surrounding agents or landmarks, and remain relevant as driving conditions evolve. Existing language-enabled driving datasets largely focus on short, localized interactions, leaving these longer-horizon forms of passenger intent comparatively underexplored. We introduce doPlan, to our knowledge the first publicly available, human-annotated real-world dataset designed to study passenger language as persistent task context. Built on nuPlan, doPlan contains 5,154 human-written passenger instructions spanning 169.1 hours of cumulative instruction-aligned context over 50.9 hours of unique driving, with annotation windows ranging from 30.0 to 508.8 s. The annotations capture immediate, deferred, event-conditioned, persistent, and multi-stage passenger intent. The dataset, annotation interface, and supporting resources are publicly available at https://github.com/Mi3-Lab/doPlan. We evaluate four language-conditioned driving models and find that sensitivity to passenger language does not reliably translate into behavior consistent with the requested direction. More broadly, among 2,161 examples with a matched future maneuver, the first associated maneuver occurs a median of 24.6 s after the evaluation point, and only 9.8% occur within the models' common 5 s prediction horizon. These findings highlight the need to connect persistent passenger intent with successive planning decisions. doPlan provides a setting for studying how unresolved goals can be retained, grounded in evolving scenes, and tracked across multiple stages, including how a planner determines when a future goal becomes relevant to the current plan.