AdaTurn: Budget-Aware Test-Time Scaling for Active Visual Perception Agents
作者: Susan Liang, Chao Huang, Filippos Bellos, Jing Bi, Jason J Corso, Chenliang Xu
分类: cs.CV
发布日期: 2026-07-16
💡 一句话要点
提出AdaTurn以解决预算感知的主动视觉感知代理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动视觉代理 预算感知 多轮推理 深度学习 决策系统 图像处理 模型训练
📋 核心要点
- 现有方法在处理动态预算时表现不佳，导致在预算不足时出现灾难性截断，影响代理的决策能力。
- AdaTurn框架通过条件化代理的轮次和训练预算引导的边界行为，解决了预算感知问题。
- 实验显示，AdaTurn在低预算情况下的准确性显著提高，例如在四轮情况下，VisualProbe-Medium的准确率从36.7%提升至47.6%。
📝 摘要（中文）
主动视觉代理通过多轮推理与图像基础动作交替解决细粒度图像任务。然而，现有方法在处理不同的预算限制时表现不佳，导致在预算不足时出现灾难性截断。为此，本文提出了AdaTurn框架，能够根据允许的轮次条件化代理，并通过强制回答的DAPO模块将超预算事件转化为可训练的最终决策步骤，从而提高低预算下的准确性。实验结果表明，AdaTurn在多个基准测试中显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决主动视觉代理在不同预算限制下的决策问题。现有方法在预算不足时容易导致灾难性截断，无法有效产生有效答案。
核心思路：AdaTurn通过条件化代理的允许轮次，明确训练预算引导的行为，避免在预算不足时的决策失败。
技术框架：AdaTurn框架包括多个模块，核心模块为强制回答的DAPO（FA-DAPO），该模块将超预算事件转化为可训练的决策步骤。框架还引入了随机化预算和负载均衡调度器，以提高训练和推理的实用性。
关键创新：最重要的创新在于将超预算事件视为可训练的决策步骤，而非简单的失败处理。这一设计使得模型能够在预算限制下有效合成部分证据。
关键设计：在训练过程中，随机化的预算设置和负载均衡调度器的设计确保了模型在不同预算条件下的适应性，损失函数和网络结构的选择也经过精心调整，以支持这一目标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AdaTurn在低预算情况下的表现显著提升，VisualProbe-Medium在四轮情况下的准确率从36.7%提升至47.6%。此外，该方法在较大预算下也保持了良好的扩展性，并能有效迁移到多个基础模型和多模态基准测试中。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、智能监控等需要实时决策的视觉系统。通过提高在预算限制下的决策能力，AdaTurn能够显著提升这些系统的实用性和效率，未来可能在多模态感知和人机交互等领域产生深远影响。
📄 摘要（原文）
Active visual agents solve fine-grained image tasks by interleaving reasoning with image-grounding actions across multiple turns. However, deployment-time rollout budgets are rarely fixed: some requests permit long rollouts, while others require the agent to act under a tight turn limit. Existing methods train the policy as if the rollout budget were hidden, so when the available budget is smaller than the trajectory the agent prefers, the interaction is often truncated before any valid answer is produced; we term this failure \emph{catastrophic truncation}. To overcome this challenge, we present AdaTurn, a budget-aware framework that conditions the agent on the allowed number of turns and explicitly trains the boundary behavior induced by the budget. Our key component, Forced-Answer DAPO (FA-DAPO), converts the over-budget event from a masked or penalized failure into a trainable final-decision step, teaching the model to synthesize partial evidence when further tool use is no longer possible. We further randomize rollout budgets during both training and inference and introduce a load-balanced scheduler that makes such operations practical. AdaTurn substantially improves low-budget accuracy, for example raising VisualProbe-Medium from 36.7% to 47.6% at four turns, while preserving strong scaling at larger budgets and transferring effectively to multiple backbones and general multimodal benchmarks.