Recursive Video In-Context Learning for Agentic Robot

📄 arXiv: 2610.06843v1 📥 PDF

作者: Wenrui Bao, Xinxin Liu, Bingxin Xu, Yuzhang Shang

分类: cs.RO, cs.AI, cs.CL, cs.MA

发布日期: 2026-10-05

💡 一句话要点

提出递归视频上下文学习以提升机器人任务执行能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 递归视频学习 任务执行 多模态学习 机器人技术 智能代理 层次结构 动态信息获取

📋 核心要点

  1. 现有的LLM代理在执行任务时，依赖文本记忆记录行为，但缺乏对任务执行细节的有效捕捉，导致性能不足。
  2. 本文提出递归视频上下文学习（RV-ICL），通过将演示视频转化为层次结构，使代理能够在执行过程中动态获取所需的细节。
  3. 实验结果显示，RV-ICL在LIBERO-PRO和LIBERO-Plus数据集上的成功率分别从92.6%提升至96.5%，从86.7%提升至95.8%。

📝 摘要（中文）

本文提出了一种递归视频上下文学习（RV-ICL）的方法，旨在改善大型语言模型（LLM）代理在执行任务时的表现。现有方法通过文本记忆记录代理的行为，但未能有效捕捉任务执行的细节。RV-ICL将演示视频转化为代理可导航的层次结构，涵盖从关键帧到子事件的不同层级，使代理在规划和执行过程中能够动态获取所需的细节信息。实验结果表明，该方法在LIBERO-PRO和LIBERO-Plus数据集上的成功率分别提升至96.5%和95.8%。

🔬 方法详解

问题定义：本文旨在解决现有LLM代理在任务执行中对细节捕捉不足的问题。现有方法依赖于文本记忆，无法有效利用演示视频中的信息，导致任务执行的成功率不高。

核心思路：提出递归视频上下文学习（RV-ICL），将演示视频转化为层次结构，使代理能够根据当前子目标动态获取所需的细节信息。这种设计使得代理在执行过程中能够灵活地访问不同层级的信息。

技术框架：RV-ICL的整体架构包括多个层级，从粗到细地组织演示视频。代理在规划阶段读取粗层级信息，在执行阶段根据需要重新进入层次结构，加载当前子目标的相关短片。

关键创新：RV-ICL的核心创新在于将演示视频转化为可导航的层次结构，而不是简单的提示。这一方法使得代理能够在执行过程中动态调整信息获取，显著提高了任务执行的成功率。

关键设计：该方法的关键设计包括层次结构的构建，涵盖关键帧、阶段、时刻和短片等多个层级。此外，代理通过只读工具访问这些层级，确保信息的有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RV-ICL在LIBERO-PRO数据集上的成功率从92.6%提升至96.5%，在LIBERO-Plus数据集上的成功率从86.7%提升至95.8%。这一显著提升验证了该方法在任务执行中的有效性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化任务执行和人机交互等。通过提升机器人在复杂任务中的执行能力，RV-ICL有助于推动智能系统在实际场景中的应用，提升工作效率和安全性。未来，该方法可能在多模态学习和自主决策系统中发挥重要作用。

📄 摘要（原文）

LLM agents that orchestrate frozen vision-language-action (VLA) policies improve across episodes through text memory, which records what the agent did but not how the task is done. A demonstration video shows it, but fits poorly into an agent's context. The full video slows every turn, fixed keyframes lose the contact detail that decides whether a grasp holds, and what the agent needs shifts from the task's structure while planning to the frames around each contact. We introduce Recursive Video In-Context Learning (RV-ICL), a training-free method that turns a demonstration into a hierarchy the agent navigates rather than a prompt it receives. The hierarchy is built from the sub-events of the demonstration, such as grasps and releases. Its levels grow finer, from keyframes of the whole task to phases, moments and short clips, and are exposed through read-only tools. The agent reads the coarse levels before planning. During execution it re-enters the hierarchy whenever a step needs more detail and loads only the clip of its current sub-goal. One demonstration per task is enough. Built on RPent, RV-ICL raises success from 92.6% to 96.5% on LIBERO-PRO and from 86.7% to 95.8% on LIBERO-Plus.