In-Context Robot Learning with VLM Agents
作者: Dongzhou Cheng, Taoran Yi, Ye Fang, Xingwu Zhang, Fan Feng, Yixuan Li, Gengxiong Zhuang, Rongze Wang, Shuai Yang, Wei Song, Weizhi Xue, Minyan Wu, Jie Gui, Jiaqi Wang, Tong Wu
分类: cs.CV, cs.RO
发布日期: 2026-09-16
备注: Project Page: https://cheng-haha.github.io/GPT-Policy GitHub Code: https://github.com/cheng-haha/GPT-Policy
💡 一句话要点
提出GPT-Policy以解决机器人在新环境中的适应性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 上下文学习 视觉语言模型 适应性 任务执行 人类演示 控制器设计
📋 核心要点
- 现有机器人学习方法无法有效应对多变的环境和任务，导致适应性不足。
- 提出GPT-Policy框架，通过上下文编译器和视觉语言模型实现机器人在新环境中的学习与适应。
- 实验结果显示，使用人类视频演示可以显著提高任务完成率，尤其是在接触敏感任务中表现更佳。
📝 摘要（中文）
使机器人能够像人类一样适应陌生环境仍然是具身人工智能的一个重要目标。由于有限的演示无法覆盖机器人可能遇到的所有任务和情况，因此在部署时从上下文中学习的能力至关重要。然而，现有的机器人策略在这一点上仍然存在很大局限。本文提出了GPT-Policy，一个用于上下文机器人学习的通用代理框架。该框架集成了上下文编译器、视觉语言模型（VLM）和约束控制器，能够在不进行梯度更新或任务特定参数持久更改的情况下，从新初始状态生成可执行的机器人行为。实验证明，GPT-Policy在机器人适应性方面提供了实证基础，并明确了可靠部署所需克服的挑战。
🔬 方法详解
问题定义：本文旨在解决机器人在新环境中适应性不足的问题。现有方法依赖于有限的演示，无法覆盖所有可能的任务和情况，导致机器人在实际应用中的表现受限。
核心思路：GPT-Policy框架的核心思想是通过上下文学习，使机器人能够在不进行梯度更新的情况下，从新环境中学习并执行任务。这种设计旨在提高机器人的灵活性和适应能力。
技术框架：GPT-Policy包含三个主要模块：上下文编译器、视觉语言模型（VLM）和约束控制器。上下文编译器负责提取任务相关的视觉信息，VLM生成机器人工具的动作建议，而约束控制器则验证和执行这些动作。
关键创新：GPT-Policy的最大创新在于其能够在不改变任务特定参数的情况下，从上下文中学习并生成可执行的机器人行为。这与传统方法的依赖于固定参数的策略形成鲜明对比。
关键设计：在设计中，GPT-Policy使用了特定的参数设置和网络结构，以确保上下文信息的有效提取和动作生成。此外，约束控制器的设计确保了动作的可执行性和反馈的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用人类视频演示的机器人在任务完成率上显著提高，尤其在接触敏感任务中，表现出更高的成功率。与基线模型相比，GPT-Policy在任务成功率和效率上均有明显提升，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景。通过提高机器人在复杂环境中的适应能力，GPT-Policy有望在实际应用中显著提升机器人的工作效率和灵活性，推动具身人工智能的发展。
📄 摘要（原文）
Enabling robots to adapt to unfamiliar environments as readily as humans remains a moonshot goal of embodied AI. No finite collection of demonstrations can cover every task and situation a robot will encounter, making the ability to learn from context at deployment essential for generalization. Such in-context learning (ICL), however, remains largely beyond the reach of existing robotic policies. The broad agentic capabilities of commercial vision-language models (VLMs), such as GPT-6 Astra, raise a compelling question: can these models learn from demonstrations, examples, and interaction feedback, then translate that information into executable and verifiable robot behavior from a new initial state without gradient updates or persistent changes to task-specific parameters? We introduce GPT-Policy, a general-agent framework for in-context robot learning. GPT-Policy integrates a context compiler that preserves task-relevant visual transitions, a VLM that proposes robot-tool actions, and a constrained controller that verifies and executes each action and reports its outcome. We evaluate its reliability and limitations through task success and efficiency metrics, matched comparisons across models, and controlled context ablations. In real-robot trials, human video demonstrations improve task completion even without robot action labels, while aligned action references yield further gains on contact-sensitive tasks. These findings position GPT-Policy as a step toward robot adaptation through in-context learning, providing an empirical foundation for translating the general-purpose capabilities of VLMs into physical behavior and clarifying the challenges that must be overcome for reliable deployment.