V-ICAL Bench: Evaluating Video In-Context Learning for Multimodal Agents in Interactive Environments
作者: Ziqian Fan, Shibo Xu, Junjie Li, Xiangyu Zhao, Shengyuan Ding, Yifan Yang, Zhenjie Yang, Haodong Duan, Yue Zhou, Zhihang Zhong, Xue Yang
分类: cs.CV
发布日期: 2026-09-14
💡 一句话要点
提出V-ICAL基准以评估多模态代理在互动环境中的视频上下文学习能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频上下文学习 多模态代理 互动环境 行为示例 智能决策
📋 核心要点
- 现有多模态代理在视频上下文学习中面临挑战，尤其是在将视频示例转化为可执行策略时表现不佳。
- 论文提出V-ICAL基准，通过342个互动任务评估多模态代理在动态环境中的学习能力，强调上下文知识的引入与代理能力的结合。
- 实验结果显示，当前最优模型Seed-2.1-Pro仅得分54.4，远低于人类基线83.6，揭示了多模态代理在ICL能力上的重要缺口。
📝 摘要（中文）
尽管上下文学习（ICL）使模型能够在不更新参数的情况下从示例中适应，但多模态ICL仍然未得到充分探索，尤其是在互动环境中的视频演示方面。针对多模态代理，从视频中学习面临独特挑战：它们必须将上下文演示转化为可执行策略，将这些策略与新视觉状态相结合，并根据环境反馈迭代优化动作。我们引入了V-ICAL，一个新基准，旨在评估多模态代理的视频基础ICL。该基准包含342个互动任务，跨越37个环境，利用人类策划的演示视频作为任务特定的行为示例，通过持续互动评估代理的能力。广泛的评估显示，当前的多模态代理在将视频示例可靠地转化为有效策略方面存在显著局限，强调了未来研究的迫切需求。
🔬 方法详解
问题定义：本论文旨在解决多模态代理在互动环境中视频上下文学习的不足，尤其是如何将视频示例有效转化为可执行策略的问题。现有方法在这一方面表现不佳，导致代理无法在动态环境中有效适应。
核心思路：论文提出V-ICAL基准，利用人类策划的演示视频作为行为示例，通过342个任务评估代理的学习能力，强调上下文知识与代理能力的结合。
技术框架：V-ICAL基准的整体架构包括任务设计、视频示例选择、代理评估等多个模块。每个任务都要求代理在特定环境中进行持续互动，以评估其学习和适应能力。
关键创新：V-ICAL的主要创新在于其综合性评估方法，连接了上下文知识引导与代理的核心能力，填补了多模态ICL研究中的空白。
关键设计：在设计中，论文采用了人类策划的示例视频，设置了多样化的任务环境，并通过持续互动评估代理的表现，确保了评估的全面性与有效性。具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最优模型Seed-2.1-Pro在V-ICAL基准中仅获得54.4分，其他领先模型如Gemini-3.1-Pro和GPT-5.6的得分均未超过50，远低于人类基线83.6，揭示了多模态代理在视频上下文学习中的显著不足。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等多模态交互系统。通过改进多模态代理的学习能力，能够提升其在复杂环境中的适应性和决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
While In-Context Learning (ICL) enables models to adapt from exemplars without parameter updates, multimodal ICL remains largely underexplored, particularly regarding video demonstrations in interactive environments. For multimodal agents, learning from videos presents unique challenges: they must translate in-context demonstrations into executable policies, ground these policies in novel visual states, and iteratively refine actions based on environmental feedback. We introduce V-ICAL, a novel benchmark designed to evaluate video-based ICL for multimodal agents. Comprising 342 interactive tasks across 37 environments, V-ICAL utilizes human-curated demonstration videos as task-specific behavioral exemplars, evaluating agents through sustained interaction from a target initialization. The benchmark seamlessly connects in-context knowledge induction with core agentic capabilities, including state grounding, temporal memory, planning, and adaptation in dynamic environments. Extensive evaluations across 19 state-of-the-art multimodal agents reveal significant limitations: the best-performing model, Seed-2.1-Pro, achieves a score of only 54.4/100, while other leading models (e.g., Gemini-3.1-Pro, GPT-5.6) fail to surpass 50, far below the human baseline of 83.6. Controlled comparisons further demonstrate that current agents struggle to reliably translate video exemplars into effective policies, failing to yield consistent performance gains. Ultimately, V-ICAL exposes a critical gap in the ICL capabilities of multimodal agents, underscoring an urgent need for future research.