SAIL: Test-Time Scaling for In-Context Imitation Learning with VLM

📄 arXiv: 2603.08269v1 📥 PDF

作者: Makoto Sato, Yusuke Iwasawa, Yujin Tang, So Kuroki

分类: cs.RO, cs.AI

发布日期: 2026-03-09

备注: 8 pages, 3 figures

💡 一句话要点

SAIL：利用VLM进行上下文模仿学习的测试时扩展，提升机器人泛化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 上下文模仿学习 视觉语言模型 蒙特卡洛树搜索 机器人操作 测试时扩展

📋 核心要点

  1. 现有上下文模仿学习方法在环境变化下，一次性轨迹生成较为脆弱，泛化能力不足。
  2. SAIL框架将模仿学习转化为迭代优化问题，利用蒙特卡洛树搜索和视觉语言模型进行轨迹优化。
  3. 实验证明，增加测试时计算量能显著提升成功率，表明轨迹级别测试时扩展的有效性。

📝 摘要（中文）

本文提出SAIL框架，将机器人模仿学习重新定义为迭代优化问题，从而实现测试时计算资源的扩展。SAIL利用蒙特卡洛树搜索，其中每个节点代表一个完整轨迹，边代表轨迹的优化。该过程由三个核心组件驱动：用于上下文相关检索的成功轨迹自动存档、基于视觉语言模型的轨迹评估评分机制，以及提供轨迹对齐评分以进行迭代优化的步进式反馈。在模拟和真实世界的六个不同操作任务中的实验表明，增加测试时计算量可以持续提高成功率，在复杂任务中达到高达95%。结果表明，轨迹级别的测试时扩展是实现更通用机器人代理的可靠途径。

🔬 方法详解

问题定义：现有的上下文模仿学习方法在面对环境变化时，往往难以生成高质量的轨迹，导致机器人任务的成功率较低。一次性轨迹生成方法对环境噪声和任务变化非常敏感，缺乏鲁棒性。因此，如何提高上下文模仿学习在真实环境中的泛化能力是一个关键问题。

核心思路：SAIL的核心思路是将模仿学习过程视为一个迭代优化的过程。通过在测试时利用更多的计算资源，对初始轨迹进行逐步改进，从而提高轨迹的质量和任务的成功率。这种方法借鉴了蒙特卡洛树搜索的思想，通过不断探索和评估不同的轨迹优化方案，最终找到最优的轨迹。

技术框架：SAIL框架主要包含三个核心模块：1) 自动存档模块，用于存储和检索与当前任务上下文相关的成功轨迹；2) 视觉语言模型（VLM）评分模块，用于评估轨迹的质量，并为轨迹优化提供指导；3) 步进式反馈模块，用于提供轨迹对齐的评分，以便进行迭代优化。整个流程如下：首先，从自动存档中检索相关的轨迹作为初始轨迹。然后，利用蒙特卡洛树搜索，在每个节点上进行轨迹优化。VLM评分模块对每个轨迹进行评估，并根据评分选择最优的轨迹进行扩展。步进式反馈模块提供轨迹对齐的评分，用于指导轨迹的迭代优化。

关键创新：SAIL最重要的创新点在于将测试时计算量与模仿学习的性能联系起来。通过迭代优化，SAIL能够利用更多的计算资源来提高轨迹的质量，从而提高任务的成功率。与传统的上下文模仿学习方法相比，SAIL具有更强的鲁棒性和泛化能力。此外，利用视觉语言模型进行轨迹评估也是一个重要的创新点，VLM能够理解任务的语义信息，从而更准确地评估轨迹的质量。

关键设计：SAIL的关键设计包括：1) 自动存档的设计，需要考虑如何有效地存储和检索相关的轨迹；2) VLM评分模块的设计，需要选择合适的VLM模型，并设计合适的评分函数；3) 蒙特卡洛树搜索的参数设置，例如探索率和深度等。此外，步进式反馈模块的设计也需要考虑如何提供准确的轨迹对齐评分。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SAIL在六个不同的操作任务中进行了评估，包括模拟环境和真实世界环境。实验结果表明，增加测试时计算量可以持续提高成功率，在复杂任务中达到高达95%。与基线方法相比，SAIL在所有任务中都取得了显著的性能提升，证明了其有效性和鲁棒性。

🎯 应用场景

SAIL框架具有广泛的应用前景，可应用于各种机器人操作任务，例如物体抓取、装配、导航等。该研究成果有助于提高机器人在复杂环境中的适应性和鲁棒性，推动机器人技术在工业自动化、医疗保健、家庭服务等领域的应用。未来，SAIL框架可以进一步扩展到其他类型的机器人任务，例如强化学习和自主探索。

📄 摘要（原文）

In-context imitation learning allows robots to acquire skills from demonstrations, yet one-shot trajectory generation remains fragile under environmental variation. We propose SAIL, a framework that reframes robot imitation as an iterative refinement problem capable of scaling with test-time compute. SAIL utilizes Monte Carlo Tree Search, where each node is a complete trajectory and edges correspond to trajectory refinements. The process is guided by three core components: an automated archive of successful trajectories for contextually relevant retrieval, a vision language model-based scoring mechanism for trajectory evaluation, and a step-level feedback that provides trajectory-aligned scores for iterative refinement. Experiments across six diverse manipulation tasks in simulation and real-world validation clearly demonstrate that increasing test-time compute consistently improves success rates, achieving up to 95% on complex tasks. Our results suggest that trajectory-level test-time scaling is a robust path toward more generalizable robotic agents.