VISTA: Internalizing Collective Visual Experience via On-Policy Distillation for Active Multimodal Agents
作者: Zheng Jiang, Houde Qian, Yiming Chen, Ling Li, Chaoyang Li, Yueqi Li, Yuxuan Liu, Lifeng Sun
分类: cs.CV
发布日期: 2026-09-29
💡 一句话要点
提出VISTA以解决多模态智能体的视觉经验利用不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动多模态智能体 视觉经验 集体视觉经验蒸馏 政策改进 强化学习
📋 核心要点
- 现有的主动多模态智能体在利用视觉经验方面存在不足，未能充分挖掘互补视觉发现。
- VISTA通过集体视觉经验蒸馏和异质性意识政策改进，优化智能体的学习过程，使其能够更有效地利用视觉工具。
- 实验结果表明，VISTA在同类智能体中表现最佳，且在细粒度感知和推理任务上显著优于基线方法。
📝 摘要（中文）
主动多模态智能体利用视觉工具获取任务相关证据并进行推理。尽管强化学习在每个输入上采样多个交互轨迹，但基于结果的目标主要依赖于群体来估计标量优势，导致互补视觉发现未被充分利用。我们提出VISTA，通过在政策蒸馏中内化集体视觉经验，将相同输入的观察转化为共享监督。集体视觉经验蒸馏（CVED）将这些观察与其交互上下文组织起来，并与个体决策对齐，而异质性意识政策改进（HAPI）则强化成功轨迹并为不成功的尝试提供经验指导的蒸馏。经验条件教师评估学生的采样响应前缀，使得一个轨迹的发现能够指导另一个轨迹的学习，而不替换学生的原始历史或生成新的目标轨迹。经过训练的智能体保留其视觉工具，并利用自身的交互历史进行行动。VISTA在评估的同类主动多模态智能体中表现最佳，并在细粒度感知和一般推理任务中持续超越同骨干训练基线，展示了集体经验在主动多模态学习中的价值。
🔬 方法详解
问题定义：论文旨在解决主动多模态智能体在视觉经验利用上的不足，现有方法主要依赖群体估计，导致个体视觉发现未被充分利用。
核心思路：VISTA通过将相同输入的观察转化为共享监督，内化集体视觉经验，从而提升智能体的学习效率和决策质量。
技术框架：VISTA的整体架构包括集体视觉经验蒸馏（CVED）和异质性意识政策改进（HAPI）两个主要模块。CVED负责组织观察与交互上下文，而HAPI则强化成功轨迹并指导不成功尝试的学习。
关键创新：VISTA的核心创新在于通过经验条件教师的设计，使得一个轨迹的学习能够影响另一个轨迹，而不需要替换原有历史或生成新轨迹，这一机制显著提升了学习效率。
关键设计：在参数设置上，VISTA采用了经验条件教师评估机制，损失函数设计上注重对成功与失败轨迹的差异化处理，网络结构则保持与现有方法相似但在训练过程中引入了集体经验的概念。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VISTA在同类主动多模态智能体中取得了最佳的平均性能，且在细粒度感知和一般推理任务上，相较于同骨干训练基线，性能提升幅度达到了显著的水平，验证了集体经验的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能监控和人机交互等场景。通过提升多模态智能体的学习能力，VISTA能够在复杂环境中更有效地执行任务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Active multimodal agents use visual tools to acquire task-relevant evidence while reasoning. Although reinforcement learning samples multiple interaction trajectories per input, outcome-based objectives primarily use the group to estimate scalar advantages, leaving complementary visual discoveries underused. We introduce VISTA, which internalizes collective visual experience through on-policy distillation by turning observations from same-input rollouts into shared supervision. Collective visual experience distillation (CVED) organizes these observations with their interaction context and aligns them with individual decisions, while heterogeneity-aware policy improvement (HAPI) reinforces successful trajectories and provides experience-guided distillation for unsuccessful attempts. An experience-conditioned teacher evaluates the student's sampled response prefixes, allowing discoveries from one trajectory to guide learning in another without replacing the student's original history or generating new target trajectories. The trained agent retains its visual tools and acts using its own interaction history. VISTA achieves the strongest average performance among the evaluated active multimodal agents of comparable size and consistently outperforms same-backbone training baselines across fine-grained perception and general reasoning tasks, demonstrating the value of collective experience for active multimodal learning.