Cartender: Verifiable Language-Conditioned Driving by Learning the Drives Not Taken
作者: Zhiwen Chen, Benjin Zhu, Yan Xie, Jun Ma
分类: cs.RO
发布日期: 2026-10-19
💡 一句话要点
提出Cartender以解决语言条件驾驶中的场景约束问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言条件驾驶 场景约束 Counterfactual Branching 视觉-语言模型 自动驾驶 智能交通 行为学习
📋 核心要点
- 现有方法在驾驶场景中缺乏对可行替代动作的监督，导致语言条件与场景约束之间的矛盾。
- Cartender通过学习未采取的驾驶行为，利用Counterfactual Branching构建指令-动作对，提升了语言条件的有效性。
- 在WOD-E2E数据集上，Cartender的RFS达到了8.642，相比于传统方法有显著提升，成功率从23.67%提高至57.00%。
📝 摘要（中文）
每个驾驶场景只记录一次，但驾驶行为是多样的：场景决定可行行为，而指令在其中选择。现有日志仅记录采取的动作，缺乏对可行替代动作或场景不支持的指令的直接监督。为此，本文提出Cartender，通过学习未采取的驾驶行为来解决这一问题。Counterfactual Branching从真实记录中构建匹配和不匹配的指令-动作对，利用视觉-语言模型提出替代未来及其选择指令，同时不支持的指令提供负标签。通过学习场景-语言兼容性评分来调节轨迹生成中的语言条件，并通过奖励训练的语言残差对生成候选进行重新排序。实验结果表明，Cartender在多个条件下显著提升了指令跟随的成功率。
🔬 方法详解
问题定义：本文旨在解决在驾驶场景中，现有方法无法有效利用未采取的驾驶行为进行语言条件的监督，导致模型在场景约束下的表现不佳。
核心思路：Cartender的核心思路是通过Counterfactual Branching构建匹配和不匹配的指令-动作对，从而学习未采取的行为，增强模型对场景约束的理解。
技术框架：整体架构包括数据收集、Counterfactual Branching模块、场景-语言兼容性评分模块和奖励训练模块。数据收集阶段从真实驾驶记录中提取信息，后续模块则用于生成和评估候选动作。
关键创新：最重要的技术创新在于Counterfactual Branching的构建方式，它允许模型在没有模拟器的情况下生成可行的替代动作，并通过不支持的指令提供负反馈。
关键设计：在模型设计中，采用了场景-语言兼容性评分来调节生成轨迹的语言条件，同时使用奖励训练的语言残差对生成候选进行重新排序，确保生成的动作更符合场景约束。
🖼️ 关键图片
📊 实验亮点
在WOD-E2E数据集上，Cartender的最佳方案在3,603个可行指令条件下实现了8.642的RFS，相比于传统方法的7.906有显著提升。此外，Cartender在相同场景下的指令成功率从23.67%提升至57.00%，有效减少了不合理指令的执行。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统和人机交互等。通过提升模型对场景约束的理解，Cartender能够在复杂环境中实现更安全和高效的驾驶决策，未来可能对智能驾驶技术的发展产生深远影响。
📄 摘要（原文）
Every driving scene is logged once, but driving is one-to-many: the scene determines which behaviors are feasible, while an instruction selects among them. A log records only the action taken, leaving no direct supervision for alternative feasible actions or instructions the scene cannot support. Consequently, a policy that ignores language and one that follows it without regard to scene constraints can fit the same data. We present Cartender, which learns from the drives not taken. Counterfactual Branching constructs matched and mismatched instruction-action pairs from real recordings without a simulator: a vision-language model proposes alternative futures and their selecting instructions, while unsupported instructions provide negative labels. A learned scene-language compatibility score regulates language conditioning in trajectory generation, and a reward-trained language residual re-ranks generated candidates over a scene-based score. The branches are used for training; instruction following is evaluated by swapping instructions under identical recorded inputs and measuring behavior rather than agreement with generated targets. On WOD-E2E, the best of four proposals achieves an RFS of 8.642 across 3,603 feasible instruction conditions. Across 8,974 admitted proposals, mean RFS is 8.203 versus 7.906 for matched logged trajectories, and 67% score higher than their logged counterpart. Compared with matched-only imitation using the same backbone, Cartender improves same-scene paired instruction success from 23.67% to 57.00% and RFS from 6.32 to 7.10; its gate reduces infeasible-instruction execution from 53.36% to 14.18%.