X-Reset: Scaling Object-Centric Reinforcement Learning via Cross-Embodiment Resets
作者: Prithwish Dan, Chenyang Ma, Wei Zhan
分类: cs.LG, cs.AI, cs.RO
发布日期: 2026-09-28
💡 一句话要点
提出X-Reset以解决强化学习中的探索问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 强化学习 物体中心奖励 人类演示 状态重定向 探索问题 通用策略 机器人技术
📋 核心要点
- 现有的强化学习方法在训练通用策略时面临探索困难，尤其是在没有高质量演示的情况下。
- X-Reset框架通过人类手-物体演示来解决探索问题，采用运动学重定向和状态过滤技术。
- 实验结果显示，X-Reset在多种物体和不同机械手上成功训练通用策略，并能处理未见物体的学习。
📝 摘要（中文）
在仿真环境中，强化学习（RL）能够训练灵巧的操作策略，但在没有机器人演示的情况下，训练单一的通用策略面临严重的探索问题。现有方法依赖高质量的机器人演示、逐任务奖励塑造或限制策略行为模式。本文提出X-Reset框架，通过人类手-物体演示来解决探索问题。X-Reset将手-物体状态运动学重定向至噪声机器人状态，过滤不稳定状态，并在RL训练中以通用的物体中心奖励进行重置采样。实验表明，X-Reset能够在20个物体上训练通用策略，并解决从零开始的RL探索挑战。
🔬 方法详解
问题定义：本文旨在解决在没有高质量机器人演示的情况下，强化学习在训练通用操作策略时的探索问题。现有方法往往依赖于逐任务的奖励塑造或限制策略的行为模式，导致探索效率低下。
核心思路：X-Reset框架的核心思想是利用人类手-物体演示来增强探索能力，而不是简单模仿或跟踪人类动作。通过将手-物体状态运动学重定向到噪声机器人状态，X-Reset能够在RL训练中有效采样重置状态。
技术框架：X-Reset的整体架构包括状态重定向、状态过滤和重置采样三个主要模块。首先，系统将人类演示的手-物体状态转化为机器人可用的状态；其次，过滤掉在仿真中不稳定的状态；最后，利用剩余的稳定状态进行RL训练。
关键创新：X-Reset的主要创新在于通过人类演示的状态重定向来解决探索问题，这与传统方法依赖于直接模仿或行为限制的方式有本质区别。
关键设计：在设计中，X-Reset采用了通用的物体中心奖励机制，确保策略仅依赖于物体状态和目标。此外，系统能够处理不完美的手势估计，增强了其在实际应用中的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，X-Reset在20个物体上成功训练通用策略，并在三种不同的机械手上进行验证。与基线方法相比，X-Reset在探索效率和策略泛化能力上均有显著提升，能够处理未见物体的学习，展示出良好的零-shot迁移能力。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和人机协作等场景。通过提升机器人在复杂环境中的操作能力，X-Reset能够推动智能机器人在实际应用中的普及与发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
Reinforcement learning (RL) in simulation can train dexterous manipulation policies without robot demonstrations, but training a single generalist policy with task-agnostic rewards faces a severe exploration problem: approaching, grasping, and reorienting diverse objects with many degrees of freedom is difficult to discover from scratch. Prior works make exploration tractable with high-quality robot demonstrations, per-task reward shaping, or by restricting policies to narrow modes of behavior. We propose X-Reset, a framework that instead resolves exploration with human hand-object demonstrations. Rather than imitating or tracking retargeted human motion, X-Reset kinematically retargets hand-object states to noisy robot states, filters out states that are unstable in simulation, and samples the remainder as resets during RL training with general-purpose object-centric rewards. The resulting policy depends only on object state and goal, with demonstrations entering training through the reset distribution. We show that X-Reset trains generalist policies on 20 objects across three embodiments---a 22-DoF hand on two different arms and a parallel-jaw gripper---and resolves the exploration challenges of RL from scratch. X-Reset scales with the number of training objects, generalizes to unseen objects, can learn from imperfect hand-pose estimates, and transfers behaviors zero-shot from sim-to-real.