RoboICL: Embodied In-Context Learning with GPT-6 Astra

📄 arXiv: 2609.34261v1 📥 PDF

作者: Fangcheng Liu, Yeqing Shen, Anda Cheng, Weishi Mi, Chao Tang, Chenyuan Liu, Yushun Xiang, Tingguang Li, Yong-Lu Li, Yehui Tang

分类: cs.RO, cs.LG

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出RoboICL框架以提升机器人控制精度与效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人控制 上下文学习 视觉-语言模型 高精度任务 交互记忆 RoboICL 零-shot学习 性能提升

📋 核心要点

  1. 现有的通用视觉-语言模型在高精度和长时间任务中的表现较弱，限制了机器人控制的应用。
  2. RoboICL框架通过分离演示上下文和交互记忆，结合固定锚点和最新交互，提升了机器人控制的精度和效率。
  3. 在30个RoboDojo任务中，RoboICL的整体得分为50.64，相较于最强基线提升了16.96分，显示出显著的性能改进。

📝 摘要（中文）

通用视觉-语言模型为零-shot机器人控制提供了有前景的解决方案，但在高精度和长时间任务上仍显不足。本文提出RoboICL，一个上下文机器人控制框架，旨在缩小这些差距，而无需针对特定机器人进行参数更新或学习视觉-语言-动作模型。RoboICL将演示上下文与交互记忆分开，前者提供可用的记录示例，后者则积累模型自身的动作和观察结果。通过结合采样的演示块与有界锚定记忆，RoboICL在30个RoboDojo任务中，使用零-shot和一示例的方式，显著提升了性能，整体得分达到50.64，超越了最强基线的33.68。

🔬 方法详解

问题定义：本文旨在解决现有通用视觉-语言模型在高精度和长时间任务中的不足，特别是在零-shot机器人控制中的表现不佳。现有方法缺乏有效的上下文学习机制，导致机器人在复杂任务中的控制精度低下。

核心思路：RoboICL框架的核心思想是将演示上下文与交互记忆分开，通过积累模型自身的经验来提升控制效果。该方法不需要针对特定机器人进行参数更新，降低了实现的复杂性。

技术框架：RoboICL的整体架构包括两个主要模块：演示上下文模块和交互记忆模块。演示上下文提供可用的示例，而交互记忆记录模型的动作和观察结果。两者通过共享的观察-动作-反馈-观察语法进行交互。

关键创新：RoboICL的创新在于结合了采样的演示块与有界锚定记忆，固定锚点确保早期的交互经验可用于上下文学习，而最新的交互则支持即时的错误修正。这种设计显著提升了机器人在复杂任务中的表现。

关键设计：在参数设置上，RoboICL采用了固定的锚点机制，确保早期的交互数据可用于后续学习。同时，损失函数设计考虑了交互的即时反馈，增强了模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在30个RoboDojo任务中，RoboICL的整体得分达到50.64，相较于最强基线提升了16.96分，显示出显著的性能改进。此外，在真实机器人任务中，平均进展从零-shot的14.45提升至三次示例的78.89，表明该框架在实际应用中的有效性。

🎯 应用场景

RoboICL框架具有广泛的应用潜力，特别是在需要高精度控制的机器人任务中，如工业自动化、服务机器人和智能家居等领域。其创新的上下文学习机制能够有效提升机器人在复杂环境中的适应能力，未来可能推动机器人技术的进一步发展与普及。

📄 摘要（原文）

General-purpose vision-language models offer a promising way to zero-shot robot control: \gptastra{} excels at open-ended and language- or image-conditioned manipulation but remains substantially weaker on high-precision and long-horizon tasks. We introduce \emph{RoboICL}, an in-context robot-control framework that narrows these gaps without robot-specific parameter updates or a learned VLA. RoboICL separates \emph{demonstration context}, which provides recorded examples when available, from \emph{interaction memory}, which accumulates the model's own actions and observed outcomes. Both use a shared observation--action--receipt--observation grammar. To preserve experience across task stages, RoboICL combines sampled demonstration blocks with bounded anchored memory. Fixed anchors keep earlier rollout interactions available for in-context learning, while the latest interaction supports immediate error correction. Across 30 RoboDojo tasks, using zero shot for Open and one demonstration elsewhere, RoboICL improves on official zero-shot \gptastra{} by 20--27 progress-score points in every category. It leads the leaderboard baselines on Memory and Open, achieves comparable performance to the strongest Precision baseline, and remains competitive on Long-Horizon. Its 30-task Overall score is 50.64, versus 33.68 for the strongest baseline. On a separate ten-task subset, RoboICL scores 60.60, within 2.00 points of the $π_{0.5}$ + \gptastra{} hybrid approach. On three real-robot tasks, mean progress rises from 14.45 at zero shot to 63.33 at one shot and 78.89 at three shots. On two development tasks, optional Jev-gated action reuse reduces \gptastra{} calls by 33--48\%. Code is available at \href{https://github.com/Mosi-AI/RoboICL}{https://github.com/Mosi-AI/RoboICL}.