EviRover: Reinforcing Agentic Perception Beyond a Glance

📄 arXiv: 2609.40230v1 📥 PDF

作者: Kaixuan Fan, Kaituo Feng, Tianshuo Peng, Yilei Jiang, Manyuan Zhang, Junke Wang, Xiangyu Yue

分类: cs.CV, cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出EviRover以解决视觉感知不足证据问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉感知 主动学习 强化学习 数据生成 多模态学习

📋 核心要点

  1. 现有视觉感知方法通常依赖于一次性预测，无法处理复杂的细节和知识密集的场景。
  2. 论文提出EviRover，通过交互获取信息，采用监督微调和强化学习的结合来提升感知能力。
  3. 实验结果显示，EviRover在EviLens基准上平均提升30分，并在多个其他基准上也表现出色。

📝 摘要（中文）

视觉感知通常被视为从图像中一次性预测的过程，假设图像内容和模型的参数知识足以解决查询。然而，这一假设在需要细致视觉细节或知识密集且最新信息的实际场景中常常失效。我们将此类情况称为“在不足证据下的感知”，并将感知过程视为一种能够获取超越单次观察的信息的主动过程。为了解决这一问题，我们设计了两个专门的数据生成管道，分别生成EviRover-SFT-5K和EviRover-RL-12K用于训练。此外，我们构建了EviLens，一个包含688个实例的人工验证基准，涵盖五个感知类别。基于这些数据，我们提出了EviRover，这是首个明确通过交互解决感知查询的感知代理，采用监督微调和主动强化学习。实验表明，EviRover在EviLens上平均超越其基础模型30分，性能与先进的专有模型相当。

🔬 方法详解

问题定义：本论文旨在解决在视觉感知中存在的“在不足证据下的感知”问题，现有方法无法有效处理需要细致信息和知识的场景。

核心思路：EviRover通过设计交互式的感知代理，能够在多次观察中获取信息，而不是依赖于单次观察，从而提升感知的准确性和全面性。

技术框架：整体架构包括数据生成、模型训练和评估三个主要模块。数据生成阶段通过两个管道生成训练数据，模型训练阶段结合监督微调和强化学习，最后在EviLens等基准上进行评估。

关键创新：EviRover是首个明确通过交互来解决感知查询的代理，采用了主动强化学习的策略，使其能够在复杂场景中表现优异。

关键设计：在模型训练中，采用了特定的损失函数和网络结构，以确保模型能够有效学习到细致的视觉信息和知识，具体参数设置和网络架构在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EviRover在EviLens基准上平均提升30分，表现超越基础模型，并在WebEyes和BrowseComp-VL等多个传统感知基准上也取得显著提升，展示了其强大的泛化能力和实际应用潜力。

🎯 应用场景

EviRover的研究成果在多个领域具有潜在应用价值，包括智能机器人、自动驾驶、增强现实等。通过提升视觉感知能力，EviRover能够更好地理解和互动于复杂环境，推动相关技术的进步与应用。未来，EviRover可能会在实时决策和人机交互中发挥重要作用。

📄 摘要（原文）

Visual perception is conventionally formulated as a one-shot prediction from a single glance at the image, under the assumption that the image content and the model's parametric knowledge suffice to resolve the query. This assumption often fails in real-world scenarios that hinge on fine-grained visual details or require knowledge-intensive and up-to-date information. We term such cases \textit{perception under insufficient evidence} and formulate perception as an agentic process that can obtain information beyond a single glance. To address the absence of data for this setting, we design two dedicated data generation pipelines, yielding EviRover-SFT-5K and EviRover-RL-12K for training. We further construct EviLens, a human-verified benchmark comprising 688 instances across five perception categories. Building on these data, we present EviRover, to our knowledge the first perception agent explicitly trained to resolve perceptual queries through interaction, using supervised fine-tuning followed by agentic reinforcement learning. Experiments show that the 4B EviRover outperforms its backbone by 30 points on average on EviLens, reaching performance comparable to advanced proprietary models. The gains transfer beyond EviLens to WebEyes, conventional perception benchmarks, and general multimodal benchmarks, including a 15-point improvement on BrowseComp-VL. All code, models, and data are released.