JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments
作者: Zhixi Cai, Fucai Ke, Sukai Huang, Maria Garcia de la Banda, Peter J. Stuckey, Gholamreza Haffari, Hamid Rezatofighi
分类: cs.AI, cs.CV, cs.RO
发布日期: 2026-09-28
备注: NeurIPS 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出JRDB-AVR以解决复杂环境中主动视觉推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉推理 主动推理 证据获取 具身代理 机器人技术 多模态学习 基准评估
📋 核心要点
- 现有视觉推理基准主要评估被动观察，忽视了主动推理和证据获取的需求。
- 本文提出JRDB-AVR基准，允许代理在回答问题时请求特定的观察，增强了评估的有效性。
- 实验结果显示，当前基线在答案准确性和证据准确性之间存在显著差距，强调了主动证据意识评估的重要性。
📝 摘要（中文）
在复杂的具身视觉推理场景中，代理通常只有有限的视野，回答问题所需的证据可能分布在时间、视角和交互对象之间。现有的视觉推理基准主要评估被动观察和最终答案，忽视了需要主动推理和证据获取的设置。本文提出JRDB-AVR基准，通过结构化的问题生成引擎，从现有的真实世界JRDB机器人数据中衍生而来，明确评估具身代理系统在接收视觉推理问题时，如何请求有界观察并在最终答案和支持证据上进行评估。该基准涵盖多种真实环境中的多样化问题，涉及时间搜索、视角选择和以人为中心的组合推理。我们还介绍了JRDB-AVR-Agent，作为一种参考的主动推理代理方法，维护显式的观察基础图模型并通过求解进行回答。
🔬 方法详解
问题定义：本文旨在解决复杂环境中具身代理在视觉推理时面临的主动证据获取问题。现有方法往往无法有效评估代理在动态环境中获取和利用信息的能力。
核心思路：通过引入JRDB-AVR基准，代理在回答视觉推理问题时可以请求特定的观察，从而实现主动推理。这种设计使得评估不仅限于最终答案，还包括支持答案的证据。
技术框架：JRDB-AVR的整体架构包括问题生成模块、观察请求模块和评估模块。代理接收问题后，生成请求以获取特定时间和视角的观察，最后根据观察结果进行答案评估。
关键创新：最重要的创新在于将主动推理与证据获取结合，形成了一个新的评估标准，区别于传统的被动观察方法。
关键设计：在设计中，代理使用图模型来维护观察基础，采用特定的损失函数来优化答案的准确性和证据的相关性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前基线在答案准确性与证据准确性之间存在显著差距，强调了主动证据意识评估的必要性。具体而言，JRDB-AVR-Agent在多个真实环境中的表现优于传统方法，展示了主动推理的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶和人机交互等。通过提升具身代理在复杂环境中的推理能力，能够更好地支持实际应用中的决策制定和任务执行，具有重要的实际价值和未来影响。
📄 摘要（原文）
In complex embodied visual reasoning scenarios, an agent often has only a limited field of view, and the evidence needed to answer a question may be distributed across time, viewpoint, and interacting objects. A model may therefore give a plausible answer without ever observing the relevant object, time, or view that supports it. Current visual reasoning benchmarks largely evaluate passive observations and final answers, overlooking settings that require active reasoning and evidence acquisition. We introduce JRDB-AVR, a benchmark derived from existing real-world JRDB robotics data through a structured question-generation engine that turns this gap into an explicit evaluation: an embodied agentic system receives a visual reasoning question, requests bounded observations by timestamp and viewing angle, and is evaluated on both the final answer and the grounded visual evidence supporting it. The benchmark contains diverse questions over multiple real-world environments involving temporal search, viewpoint selection, and human-oriented compositional reasoning. We also introduce JRDB-AVR-Agent, a reference active reasoning agentic method that maintains an explicit observation-grounded graph-based world model and answers through solving. Experiments reveal a substantial gap between answer accuracy and evidence accuracy in current baselines, showing that current VLMs can produce unsupported correct answers and that active evidence-aware evaluation is necessary for embodied visual reasoning. Code and benchmark are available at https://github.com/ControlNet/JRDB-AVR.