RoboFollow: Unveiling the Instruction Following Mirage in Embodied Agents
作者: Chang Guo, Yukun Xie, Bohan Tan, Zheng Chang, Zhaokai Yin, Qianli Ma, Yingqiao Wang, Chao Liang, Zhipeng Zhang
分类: cs.RO
发布日期: 2026-09-22
🔗 代码/项目: GITHUB | HUGGINGFACE
💡 一句话要点
提出RoboFollow以揭示具身智能体的指令跟随能力不足问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能体 指令跟随 场景熵 分层诊断 语言理解 机器人导航 人机交互
📋 核心要点
- 现有具身智能体在指令跟随能力上表现不如预期，尤其在复杂场景中容易产生误导性结果。
- 提出RoboFollow基准，通过高场景熵和分层诊断协议，迫使智能体依赖语言而非仅依赖视觉信息。
- 实验表明，尽管在L0层面表现良好，但在更复杂的L1-L3层面，智能体的表现显著下降，验证了指令跟随能力的不足。
📝 摘要（中文）
现代具身智能体在任务成功率上取得了显著成就，但其实际的指令跟随能力远低于这些数字所暗示的水平。本文将这种错觉归因于我们称之为低场景熵的结构特性：当视觉场景仅支持一个有效任务时，语言变得冗余，策略可以在几乎不使用语言的情况下获得高分。我们引入了RoboFollow，一个诊断基准，包含三个原则：高场景熵、分层诊断协议和混淆控制诊断。对九种VLA和WAM策略的评估显示，强L0性能在我们的微调设置下并不能可靠地转移到L1-L3。RoboFollow揭示了真正的指令跟随能力是一个被忽视的重要瓶颈。
🔬 方法详解
问题定义：本文旨在解决具身智能体在复杂场景中指令跟随能力不足的问题。现有方法在低场景熵的情况下表现良好，但缺乏对语言理解的真实考验。
核心思路：RoboFollow通过设计高场景熵的任务场景，迫使智能体在执行任务时依赖语言指令，而非仅依赖视觉信息，从而揭示其真实的指令跟随能力。
技术框架：RoboFollow的整体架构包括三个主要模块：高场景熵的任务设计、分层诊断协议（L0-L3）和混淆控制诊断。每个模块逐步增加任务的复杂性，以评估智能体的指令跟随能力。
关键创新：RoboFollow的核心创新在于其高场景熵设计和分层诊断协议，这与现有方法的单一任务场景设计形成鲜明对比，能够更全面地评估智能体的语言理解能力。
关键设计：在实验中，简化了交互对象，限制了动作范围，并报告了阶段性意图和执行分数，以隔离理解与执行之间的差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管在L0层面表现良好，智能体在L1-L3层面的表现却显著下降，表明其指令跟随能力的真实瓶颈。对比九种VLA和WAM策略，强L0性能未能有效转移，验证了RoboFollow的有效性。
🎯 应用场景
RoboFollow的研究成果可广泛应用于机器人导航、自动化助手和人机交互等领域。通过提升具身智能体的指令跟随能力，可以增强其在复杂环境中的适应性和实用性，推动智能体在实际应用中的发展与落地。
📄 摘要（原文）
Modern embodied agents achieve impressive success rates, yet their actual instruction-following ability is far weaker than these numbers suggest. We trace this illusion to a structural property we term low scene entropy: when a visual scene admits only one valid task, language becomes redundant and a policy can score highly while barely using it. We introduce RoboFollow, a diagnostic benchmark with three principles: (1) High Scene Entropy: each training scene supports multiple kinematically distinct task branches, making vision alone insufficient and forcing reliance on language. (2) Hierarchical Diagnostic Protocol: a four-level protocol (L0--L3) progressively perturbs visual layout and semantics, probing whether equivalent instructions yield consistent behavior and distinct ones yield discriminable behavior across spatial relations, attributes, trajectory constraints, and logic. (3) Confound-Controlled Diagnosis: we simplify interaction objects, restrict actions to the trained repertoire and report stage-wise Intent and Execution scores, isolating comprehension from motor execution. Evaluation of nine VLA and WAM policies shows that strong L0 performance, where attained, does not reliably transfer to L1--L3 under our fine-tuning setup. Representative mitigations, including stronger VLM backbones, QA co-training, LangForce, and Classifier-Free Guidance, all fail to close this gap. RoboFollow exposes genuine instruction following as a critical, overlooked bottleneck. Code and dataset are available at https://github.com/AutoLab-SAI-SJTU/RoboFollow and https://huggingface.co/datasets/AutoLab-SJTU/robofollow-data.