ARM: Advantage Reward Modeling for Long-Horizon Manipulation
作者: Yiming Mao, Zixi Yu, Weixin Mao, Yinhao Li, Qirui Hu, Zihan Lan, Minzhao Zhu, Hua Chen
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-04-06
💡 一句话要点
提出优势奖励建模以解决长时间机器人操控中的稀疏奖励问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间操控 强化学习 奖励建模 机器人技术 数据效率 自动化标注
📋 核心要点
- 长时间机器人操控中的稀疏奖励限制了强化学习的有效性，导致信用分配困难。
- 提出优势奖励建模（ARM），通过相对优势估计替代难以量化的绝对进展，降低人类标注负担。
- 在长时间折叠毛巾任务中，ARM实现了99.4%的成功率，显示出比现有VLA基线更高的稳定性和数据效率。
📝 摘要（中文）
长时间机器人操控在强化学习中仍然面临挑战，因为稀疏奖励提供的指导有限，导致信用分配困难。实际的策略改进依赖于更丰富的中间监督，如密集的进展奖励，但这些奖励获取成本高且不适合非单调行为。为此，本文提出了优势奖励建模（ARM）框架，转变为估计相对优势。我们引入了一种成本效益高的三状态标注策略——进展、回归和停滞，减少了人类认知负担，同时确保了高跨标注者一致性。通过在这些直观信号上进行训练，ARM实现了对完整演示和碎片化DAgger风格数据的自动进展注释。将ARM集成到离线RL管道中，允许自适应的动作-奖励重加权，有效过滤次优样本。我们的方案在具有挑战性的长时间折叠毛巾任务中取得了99.4%的成功率，展示了在策略训练期间几乎零人类干预下的稳定性和数据效率的提升。
🔬 方法详解
问题定义：本文旨在解决长时间机器人操控中的稀疏奖励问题，现有方法在信用分配上面临挑战，导致策略改进效果不佳。
核心思路：提出优势奖励建模（ARM）框架，转变为相对优势的估计，减少对绝对进展的依赖，进而提高奖励信号的有效性。
技术框架：ARM框架包括三状态标注策略（进展、回归、停滞），通过这些直观信号进行训练，支持完整演示和碎片化数据的自动注释，并集成到离线RL管道中。
关键创新：ARM的核心创新在于引入了三状态标注策略，显著降低了人类认知负担，并确保了高一致性，区别于传统的密集奖励方法。
关键设计：在设计中，采用了自适应的动作-奖励重加权机制，能够有效过滤次优样本，提升数据效率和训练稳定性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在长时间折叠毛巾任务中，ARM实现了99.4%的成功率，显著优于现有的VLA基线，展示了在几乎零人类干预下的高稳定性和数据效率，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括家庭服务机器人、工业自动化和医疗辅助机器人等。通过提高长时间操控任务的成功率，ARM能够在实际操作中减少人力干预，提高效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long-horizon robotic manipulation remains challenging for reinforcement learning (RL) because sparse rewards provide limited guidance for credit assignment. Practical policy improvement thus relies on richer intermediate supervision, such as dense progress rewards, which are costly to obtain and ill-suited to non-monotonic behaviors such as backtracking and recovery. To address this, we propose Advantage Reward Modeling (ARM), a framework that shifts from hard-to-quantify absolute progress to estimating relative advantage. We introduce a cost-effective tri-state labeling strategy -- Progressive, Regressive, and Stagnant -- that reduces human cognitive overhead while ensuring high cross-annotator consistency. By training on these intuitive signals, ARM enables automated progress annotation for both complete demonstrations and fragmented DAgger-style data. Integrating ARM into an offline RL pipeline allows for adaptive action-reward reweighting, effectively filtering suboptimal samples. Our approach achieves a 99.4% success rate on a challenging long-horizon towel-folding task, demonstrating improved stability and data efficiency over current VLA baselines with near-zero human intervention during policy training.