Null Counterfactual Factor Interactions for Goal-Conditioned Reinforcement Learning
作者: Caleb Chuck, Fan Feng, Carl Qi, Chang Shi, Siddhant Agarwal, Amy Zhang, Scott Niekum
分类: cs.LG, cs.AI
发布日期: 2025-05-06
备注: Published at ICLR 2025
期刊: The Thirteenth International Conference on Learning Representations. 2025
💡 一句话要点
提出基于零反事实交互的逆向重标记方法，提升目标条件强化学习在物体交互场景中的样本效率。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 目标条件强化学习 逆向重标记 物体交互 零反事实 样本效率
📋 核心要点
- 传统逆向重标记在物体交互场景中易产生大量无意义轨迹，导致学习效率低下。
- 论文提出HInt方法，结合交互信息与逆向重标记，聚焦物体间交互轨迹，提升样本利用率。
- 实验表明，NCII能有效推断交互，HInt在多个机器人任务中将样本效率提升高达4倍。
📝 摘要（中文）
逆向重标记是解决目标条件强化学习(GCRL)中稀疏奖励问题的有效工具，尤其是在导航和运动等领域。然而，逆向重标记在以物体为中心的领域中面临挑战。例如，当目标空间涉及机器人手臂将目标物体推到目标位置时，逆向重标记可能会对未与物体交互的轨迹给予高奖励。这些行为仅在物体已位于目标位置时才有用，但在实践中这种情况极其罕见。包含大量此类轨迹的数据集会使学习复杂化并导致失败。在以物体为中心的领域中，一个关键的直觉是有意义的轨迹通常以物体间的交互为特征，例如用夹爪推动物体。为了利用这种直觉，我们引入了使用交互的逆向重标记(HInt)，它将交互与逆向重标记相结合，以提高下游RL的样本效率。由于交互没有下游GCRL可用的共识统计定义，我们提出了一种基于零反事实概念的交互定义：如果在一个原因物体不存在的世界中，目标物体的转移动态会发生变化，则该原因物体正在与目标物体交互。我们利用这个定义在零反事实交互推理(NCII)中推断交互，NCII使用带有学习模型的“置零”操作来推断交互。NCII在简单的线性动力学领域以及Robosuite、Robot Air Hockey和Franka Kitchen等动态机器人领域中，显著提高了交互推理的准确性，并且HInt将样本效率提高了高达4倍。
🔬 方法详解
问题定义：在目标条件强化学习中，尤其是在物体交互场景下，传统的逆向重标记方法会生成大量与目标无关的轨迹，例如机器人手臂没有与目标物体发生交互的轨迹。这些轨迹虽然在某些情况下可以获得高奖励，但对于学习有效的策略几乎没有帮助，反而会干扰学习过程，导致样本效率低下。
核心思路：论文的核心思路是利用物体间的交互信息来指导逆向重标记过程。通过识别哪些轨迹包含了有意义的物体交互（例如，机器人推动目标物体），并优先对这些轨迹进行重标记，可以显著提高样本的利用率。论文将交互定义为：如果移除一个物体，另一个物体的动力学发生改变，则这两个物体之间存在交互。
技术框架：整体框架包含两个主要模块：零反事实交互推理(NCII)和使用交互的逆向重标记(HInt)。NCII模块负责推断物体间的交互关系，它通过学习一个动力学模型，然后使用“置零”操作来模拟移除某个物体后的系统行为，并比较其与原始行为的差异，从而判断是否存在交互。HInt模块则利用NCII推断出的交互信息，对轨迹进行逆向重标记，优先选择包含交互的轨迹。
关键创新：最重要的创新点在于提出了基于零反事实的交互定义，并设计了NCII模块来实现交互推理。与传统的交互定义不同，该定义更加形式化和可计算，能够有效地应用于强化学习任务中。此外，HInt方法将交互信息融入逆向重标记过程，显著提高了样本效率。
关键设计：NCII模块的关键设计在于“置零”操作，它通过修改动力学模型的输入，模拟移除某个物体后的系统状态。具体来说，可以将该物体的状态设置为一个中性值或一个随机值，然后观察其他物体的行为变化。HInt模块的关键设计在于如何将交互信息融入奖励函数。论文中，包含交互的轨迹会被赋予更高的奖励，从而引导智能体学习有效的交互策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，NCII能够显著提高交互推理的准确性，尤其是在复杂的机器人环境中。在Robosuite、Robot Air Hockey和Franka Kitchen等任务中，HInt方法将样本效率提高了高达4倍。这表明该方法能够有效地利用交互信息来指导强化学习，从而加速智能体的学习过程。
🎯 应用场景
该研究成果可应用于各种需要复杂物体交互的机器人任务中，例如机器人操作、装配、抓取和操作等。通过提高样本效率，可以降低训练成本，加速机器人智能体的学习过程，使其能够更快地适应新的环境和任务。此外，该方法还可以用于分析和理解复杂系统的交互行为，例如在自动驾驶中识别车辆与行人之间的潜在交互。
📄 摘要（原文）
Hindsight relabeling is a powerful tool for overcoming sparsity in goal-conditioned reinforcement learning (GCRL), especially in certain domains such as navigation and locomotion. However, hindsight relabeling can struggle in object-centric domains. For example, suppose that the goal space consists of a robotic arm pushing a particular target block to a goal location. In this case, hindsight relabeling will give high rewards to any trajectory that does not interact with the block. However, these behaviors are only useful when the object is already at the goal -- an extremely rare case in practice. A dataset dominated by these kinds of trajectories can complicate learning and lead to failures. In object-centric domains, one key intuition is that meaningful trajectories are often characterized by object-object interactions such as pushing the block with the gripper. To leverage this intuition, we introduce Hindsight Relabeling using Interactions (HInt), which combines interactions with hindsight relabeling to improve the sample efficiency of downstream RL. However because interactions do not have a consensus statistical definition tractable for downstream GCRL, we propose a definition of interactions based on the concept of null counterfactual: a cause object is interacting with a target object if, in a world where the cause object did not exist, the target object would have different transition dynamics. We leverage this definition to infer interactions in Null Counterfactual Interaction Inference (NCII), which uses a "nulling'' operation with a learned model to infer interactions. NCII is able to achieve significantly improved interaction inference accuracy in both simple linear dynamics domains and dynamic robotic domains in Robosuite, Robot Air Hockey, and Franka Kitchen and HInt improves sample efficiency by up to 4x.