Rendering-Free Lookahead for Question-Guided Active Vision

📄 arXiv: 2610.11039v1 📥 PDF

作者: Koya Sakamoto, Daichi Azuma, Shuhei Kurita, Naoya Chiba, Yusuke Iwasawa, Yutaka Matsuo, Taiki Miyanishi

分类: cs.CV, cs.RO

发布日期: 2026-10-08

备注: Project page: https://k0uya.github.io/rfl-proj/

💡 一句话要点

提出无渲染前瞻策略以解决问答引导的主动视觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 主动视觉 问答系统 视觉语言模型 相机控制 蒸馏训练 3D场景 可回答性 机器人技术

📋 核心要点

  1. 现有的主动视觉方法在选择相机动作时，难以有效预测未见视图的有用性，导致信息获取不足。
  2. 本文提出的Rendering-Free Lookahead (RFL)策略，通过预测未来视图的可回答性，优化相机动作选择过程。
  3. 在377个测试集上，RFL相较于基线方法提升了43%的平均评分，验证了其在视角依赖问答中的有效性。

📝 摘要（中文）

主动机器人视觉需要控制相机以揭示当前视角下隐藏的任务相关信息。本文提出了一种名为Rendering-Free Lookahead (RFL)的视角选择策略，通过预测未来的可回答性来对候选相机动作进行排序。RFL在训练阶段利用特权教师生成3D场景中的候选未来视图，并使用冻结的视觉语言模型(VLM)计算一阶和二阶可回答性目标。通过两阶段蒸馏，学生模型学习从问题、最近的视觉观察和候选相机动作中预测这些动作值。在部署阶段，RFL利用这些预测值选择相机动作，而无需渲染未来视图。在377个E3VS-Bench测试集的未见环境中，RFL相较于直接动作基线提高了43%的平均评分，支持从特权视觉前瞻中学习相机控制策略以进行视角依赖的问答。

🔬 方法详解

问题定义：本文旨在解决主动视觉中相机动作选择的挑战，现有方法在未见视图的有用性预测上存在不足，导致无法有效获取任务相关信息。

核心思路：RFL策略通过量化未来视图的可回答性，利用训练阶段的特权教师生成候选视图，并通过冻结的VLM计算可回答性目标，从而优化相机动作选择。

技术框架：整体流程分为训练和部署两个阶段。在训练阶段，特权教师生成3D场景中的候选视图，并计算一阶和二阶可回答性目标；在部署阶段，RFL使用预测的动作值选择相机动作，无需渲染未来视图。

关键创新：RFL的核心创新在于将视觉前瞻从部署阶段转移到离线训练阶段，通过两阶段蒸馏学习相机控制策略，显著提高了问答的准确性和效率。

关键设计：在训练过程中，使用冻结的VLM计算可回答性目标，设计了两阶段蒸馏流程，确保学生模型能够有效学习到从问题和视觉观察中提取信息的能力。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在377个E3VS-Bench测试集中，RFL策略相较于直接动作基线提高了43%的平均评分，显示出其在视角依赖问答任务中的显著优势。这一结果表明，利用特权视觉前瞻进行相机控制策略学习是有效的。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等，能够在复杂环境中实现更高效的信息获取和决策支持。未来，RFL策略可能推动更智能的视觉系统发展，提升人机交互的自然性和有效性。

📄 摘要（原文）

Active robot vision requires controlling the camera to reveal task-relevant information that is hidden from the current viewpoint. For example, determining what is inside a box may require raising the camera and looking down into it. For viewpoint-dependent question answering, the challenge is to select camera motions that expose the visual evidence needed to answer the question. Although vision-language models (VLMs) can interpret observed images, selecting such motions requires anticipating the usefulness of unseen views. We quantify this usefulness as answerability, a VLM's estimate that a view suffices to answer the question, and present Rendering-Free Lookahead (RFL), a viewpoint-selection policy that ranks candidate camera motions by predicted future answerability. RFL transfers visual lookahead from deployment to offline training. At training, a privileged teacher renders candidate future views in 3D Gaussian Splatting (3DGS) scenes and uses a frozen VLM to compute one- and two-step answerability targets. Through two-stage distillation, a student learns to predict these action values from the question, recent visual observations, and a candidate camera motion. At deployment, RFL uses these predicted values to select camera motions without rendering future views. On 377 E3VS-Bench test episodes in unseen environments, RFL improves the mean judge score by 43\% over a direct-action baseline using the same VLM. These results support learning camera-control policies from privileged visual lookahead for viewpoint-dependent question answering.