Reframing Object-Centric Reinforcement Learning: From Absolute to Relative Representations

📄 arXiv: 2610.28197v1 📥 PDF

作者: Cedric Derstroff, Jannis Blüml, Janosch Moos, Michael Girstl, Zihan Ye, Debora Clever, Kristian Kersting

分类: cs.LG, cs.AI

发布日期: 2026-10-20

备注: 13 pages, 7 figures, 10 pages Appendix, First two authors contributed equally

💡 一句话要点

提出ORCA与ORBiT以解决对象中心强化学习中的绝对表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对象中心强化学习 相对表示 变换器架构 多层感知机 游戏智能体 强化学习

📋 核心要点

  1. 现有对象中心强化学习方法依赖绝对坐标，无法有效捕捉对象间的相对关系，导致性能下降。
  2. 本文提出了基于锚点的对象相对坐标（ORCA）和对象相对归纳偏置变换器（ORBiT），以相对框架描述对象。
  3. 实验表明，ORBiT在多个Atari游戏中表现优于传统方法，尤其在Foosball游戏中显著领先所有基线。

📝 摘要（中文）

对象中心强化学习代理通常在固定的全局坐标系中接收每个对象的位置，然而它们的决策通常依赖于对象之间的相对位置。这种绝对视图往往无法捕捉到对代理行为最相关的局部上下文，导致代理在每个可能的配置位置都需重新学习相同的反应，并且在场景稍有移动时性能急剧下降。为此，本文提出了一种基于锚点的对象相对坐标（ORCA），将实体描述为相对参考框架。我们引入了对象相对归纳偏置变换器（ORBiT），一种用于处理锚点相对输入的变换器架构。实验结果表明，这种相对表示提高了多层感知机（MLP）和变换器代理的性能，ORBiT在13个Atari游戏中超越了基于像素的PPO基线，Foosball游戏中表现优异。

🔬 方法详解

问题定义：本文旨在解决对象中心强化学习中使用绝对坐标表示的问题。现有方法在不同位置的配置中表现不佳，无法有效利用对象间的相对位置关系。

核心思路：提出基于锚点的对象相对坐标（ORCA），通过相对框架描述对象，以捕捉更相关的局部上下文，从而提高决策效率。

技术框架：整体架构包括对象相对归纳偏置变换器（ORBiT），该架构处理锚点相对输入，结合了变换器的优势，能够有效学习相对表示。

关键创新：最重要的创新在于引入了相对表示的概念，ORBiT能够在不同场景中保持一致的性能，克服了绝对坐标的局限性。

关键设计：在网络结构上，ORBiT采用变换器架构，结合了特定的损失函数和参数设置，以优化相对输入的处理，确保模型在多样化场景中的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ORBiT在13个Atari游戏中实现了超过1.0的聚合HNS IQM，显著优于基于像素的PPO基线。在Foosball游戏中，ORBiT从零开始学习，表现优于所有基线，展示了其强大的学习能力。

🎯 应用场景

该研究的潜在应用领域包括游戏智能体、机器人导航和多智能体系统等。通过改进对象间的相对表示，能够提升智能体在复杂环境中的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Object-centric reinforcement learning agents typically receive each object's position in a fixed global frame, even though their decisions usually depend on where objects are relative to one another. These absolute views often fail to capture the local context that is most relevant to the agent's behavior. As a result, an agent must relearn the same response at every location where a configuration can occur, and its performance collapses when the scene is merely shifted. In this work, we propose a shift toward Object-Relative Coordinates fixed to Anchor (ORCA), where entities are described in a relative frame of reference. To operationalize this idea, we introduce Object-Relative inductive-Bias Transformers (ORBiT), a transformer-based architecture for processing anchor-relative inputs in reinforcement learning. Our results suggest these relative representations improve performance for both MLP and transformer agents. Furthermore, we demonstrate that ORBiT outperforms the pixel-based PPO baseline, achieving an aggregate HNS IQM greater than 1.0 over 13 Atari games. ORBiT learns the game of Foosball from scratch, dominating all baselines. In our controlled Tag environment, we further show that ORCA extends to rotations, that ORBiT generalizes to unseen numbers of distractors, and that these gains require a decision-relevant anchor.