Beyond Pixels: Learning Invariant Rewards for Real-World Robotics From a Few Demonstrations
作者: Tengye Xu, Yangting Sun, Ziju Shen, Guanqi Chen, Zhen Fu, Chen yizhou, Hua Chen, Jia Pan
分类: cs.RO
发布日期: 2026-05-21
💡 一句话要点
提出基于少量演示学习不变奖励的框架，提升机器人泛化能力。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人强化学习 奖励函数设计 行为不变性 少量演示学习 泛化能力 符号推理 结构化奖励
📋 核心要点
- 现有基于视觉的机器人奖励函数易于记忆训练环境，泛化能力差，难以适应真实世界的复杂变化。
- 论文提出学习不变的符号奖励函数，从少量演示中提取任务级策略和物理约束等行为不变性。
- 实验表明，该方法在多个任务中优于基线，并能零样本泛化到位置、视角和对象变化等分布外场景。
📝 摘要（中文）
在机器人强化学习中，设计能够泛化到受控实验室环境之外的奖励函数仍然是一个根本性的挑战。在开放世界的操作问题中，由于不同的对象实例、位置和相机视角，单个任务可能以多种变体出现。最近基于视觉的奖励模型倾向于记忆特定的像素分布，并且无法泛化到其训练条件之外。为了解决这个问题，我们提出了一个框架，该框架从少至五个的演示中学习不变的符号奖励函数。其核心思想是从视觉特征拟合转向发现行为不变性：即在不同的视觉实例化中保持不变的任务级属性。该框架具有两个耦合的组件：一个结构化的奖励公式，它编码了任务级策略和物理约束，同时保持了最优策略不变性；以及一个混合的符号-数值过程，该过程从演示中提取这些不变性，而无需在线交互。在八个Meta-World任务和三个Franka操作任务上的实验表明，与基线相比，我们的方法实现了更强的过程对齐和策略rollout排序能力，从而加速了下游策略学习。三个真实世界的分布外实验进一步表明，相同的学习奖励可以零样本泛化到位置、视角和对象变化，从而使单个奖励表示可以在实践中跨不同的任务变体重复使用。
🔬 方法详解
问题定义：现有基于视觉的机器人强化学习方法，其奖励函数依赖于像素级别的特征匹配，容易过拟合训练数据，导致在真实世界中泛化能力不足。特别是当任务场景发生变化，例如物体位置、相机视角或物体本身发生改变时，奖励函数的性能会显著下降。因此，如何设计一个能够泛化到不同场景的奖励函数是亟待解决的问题。
核心思路：论文的核心思路是从少量演示中学习任务的本质不变性，而不是简单地拟合视觉特征。具体来说，通过结构化的奖励函数来编码任务级的策略和物理约束，并利用符号-数值混合方法从演示数据中提取这些不变性。这种方法避免了对特定视觉特征的过度依赖，从而提高了泛化能力。
技术框架：该框架包含两个主要组成部分：1) 结构化奖励函数：该函数基于符号表示，用于编码任务的逻辑结构和物理约束，例如“物体A必须在物体B之上”等。这种结构化的表示方式能够更好地捕捉任务的本质特征。2) 混合符号-数值过程：该过程从少量演示数据中提取结构化奖励函数的参数。它结合了符号推理和数值优化技术，能够有效地从演示数据中学习到任务的不变性。整个过程无需在线交互，降低了学习成本。
关键创新：该方法最重要的创新点在于从演示数据中学习不变的符号奖励函数。与传统的基于视觉特征拟合的奖励函数不同，该方法关注的是任务的本质不变性，例如任务的逻辑结构和物理约束。这种方法能够更好地泛化到不同的场景，并且对视觉变化具有鲁棒性。
关键设计：结构化奖励函数的设计是关键。它需要能够表达任务的逻辑结构和物理约束，并且能够保持最优策略的不变性。混合符号-数值过程的设计也至关重要，它需要能够有效地从少量演示数据中提取结构化奖励函数的参数。具体的技术细节包括：使用一阶逻辑来表示任务的逻辑结构，使用数值优化方法来估计奖励函数的参数，以及使用策略不变性约束来提高学习的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在Meta-World和Franka操作任务中取得了显著的性能提升。与基线方法相比，该方法能够更好地对齐过程，并提高策略rollout的排序能力，从而加速下游策略的学习。更重要的是，该方法在真实世界的分布外实验中表现出色，能够零样本泛化到位置、视角和对象变化等场景，证明了其强大的泛化能力。
🎯 应用场景
该研究成果可广泛应用于机器人操作任务中，例如工业自动化、家庭服务机器人等。通过学习不变的奖励函数，机器人可以更好地适应真实世界的复杂环境，完成各种操作任务。此外，该方法还可以应用于其他需要泛化能力的强化学习任务中，例如自动驾驶、游戏AI等。
📄 摘要（原文）
Designing reward functions that generalize beyond controlled laboratory settings remains a fundamental challenge in reinforcement learning for robotics. In open-world manipulation problems, a single task can appear in numerous variants through different object instances, positions, and camera viewpoints. Recent vision-based reward models tend to memorize specific pixel distributions and fail to generalize beyond their training conditions. To address this, we propose a framework that learns invariant symbolic reward functions from as few as five demonstrations. The insight is to shift from visual feature-fitting to the discovery of behavioral invariants: task-level properties that remain constant across diverse visual instantiations. The framework has two coupled components: a structural reward formulation that encodes task-level strategies and physical constraints while preserving optimal policy invariance, and a hybrid symbolic-numerical procedure that distills these invariants from demonstrations without online interaction. Experiments on eight Meta-World tasks and three Franka manipulation tasks demonstrate that our method achieves stronger process alignment and policy rollout ranking abilities compared to baselines, accelerating downstream policy learning. Three real-world out-of-distribution experiments further show that the same learned reward generalizes zero-shot to position, viewpoint, and object variations, enabling a single reward representation to be reused across diverse task variants in practice.