AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation

📄 arXiv: 2610.30097v1 📥 PDF

作者: Likui Zhang, Zhe Zhu, Zhihao Zhan, Yibo Bai, Hanlin Wang, Dongwei Li, Bin Wang, Tianle Zhang, Xiaodan Liang, Liang Lin

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-21

💡 一句话要点

提出AtomicRL以解决长时间机器人操作中的信用分配问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 机器人操作 视觉-语言-动作 信用分配 自适应探索 长时间任务 语义感知

📋 核心要点

  1. 现有的VLA-RL方法在长时间任务中面临信用分配延迟和偏见的问题，导致学习效率低下。
  2. AtomicRL通过引入语义感知策略优化和瓶颈自适应目标探索，改善了信用分配和任务探索的效率。
  3. 在LIBERO-LONG和CALVIN ABC-D数据集上，AtomicRL分别比PPO提高了3.6%和9.5%的性能，且在实际任务中平均提升21.3%。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中展现出潜力，但仅依靠模仿学习（IL）往往难以掌握复杂的长时间技能。强化学习（RL）为进一步提升VLA策略提供了有效途径。然而，现有的VLA-RL方法通常面临由于轨迹级稀疏奖励导致的延迟和偏见信用分配问题，同时不平衡的子任务掌握限制了整体性能。为了解决这些挑战，本文提出了AtomicRL，一个利用原子任务结构进行可靠信用分配和自适应探索的RL后训练框架。AtomicRL引入了语义感知策略优化（SAPO），通过语义感知门控来限制失败原子子任务的时间差残差在任务边界间传播，从而减轻信用污染，同时保留子任务内的信用分配和价值引导。最后，本文开发了Real2Sim2Real管道，促进了在线RL在模拟环境与现实世界部署之间的转移。

🔬 方法详解

问题定义：本文旨在解决现有VLA-RL方法在长时间机器人操作中由于稀疏奖励导致的信用分配延迟和偏见问题，同时应对不平衡的子任务掌握瓶颈。

核心思路：AtomicRL通过引入原子任务结构，结合语义感知策略优化和瓶颈自适应目标探索，来实现更可靠的信用分配和自适应的任务探索，从而提升学习效率和操作性能。

技术框架：AtomicRL的整体架构包括两个主要模块：语义感知策略优化（SAPO）和瓶颈自适应目标探索（BATE）。SAPO通过门控机制控制时间差残差的传播，而BATE则根据子任务掌握情况动态调整任务采样和探索激励。

关键创新：最重要的技术创新在于引入了语义感知门控机制，能够有效防止失败子任务的信用污染，并保持子任务内的信用分配和价值引导的有效性。

关键设计：在设计中，SAPO使用了特定的损失函数来优化策略，同时BATE通过实时监测子任务的掌握情况来调整探索策略，确保学习过程中的高效性。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO-LONG数据集上，AtomicRL相比PPO实现了3.6%的性能提升，而在CALVIN ABC-D上则提升了9.5%。结合Real2Sim2Real管道，AtomicRL在实际任务中的表现平均提高了21.3%，显示出其在长时间任务中的有效性和优势。

🎯 应用场景

AtomicRL的研究成果在机器人操作领域具有广泛的应用潜力，尤其是在需要长时间复杂操作的场景中，如工业自动化、服务机器人和医疗机器人等。通过提升机器人在真实环境中的操作能力，AtomicRL能够推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Vision-language-action (VLA) models have shown promise in robotic manipulation, but imitation learning (IL) alone often struggles to master complex long-horizon skills. Reinforcement learning (RL) offers an effective avenue for further improving VLA policies. However, existing VLA-RL methods typically suffer from delayed and biased credit assignment due to trajectory-level sparse rewards, while imbalanced subtask mastery creates bottlenecks that limit overall performance. To address these challenges, we propose AtomicRL, an RL post-training framework that leverages atomic task structures for reliable credit assignment and adaptive exploration. AtomicRL introduces Semantic-Aware Policy Optimization (SAPO), which uses semantic-aware gating to constrain TD residuals from failed atomic subtasks from propagating across task boundaries, mitigating credit contamination while preserving intra-subtask credit assignment and value bootstrapping. In addition, Bottleneck-Adaptive Target Exploration (BATE) dynamically coordinates task sampling and local exploration incentives based on the mastery of individual atomic subtasks, directing learning toward the remaining bottlenecks. Finally, we develop a Real2Sim2Real pipeline that bridges online RL in simulation with real-world deployment, facilitating practical transfer to physical robots. On LIBERO-LONG, AtomicRL achieves absolute performance gains of 3.6% and 4.0% over PPO across two VLA architectures. On CALVIN ABC-D, it improves full-task performance by up to 9.5% over PPO. Combined with the Real2Sim2Real pipeline, AtomicRL further improves real-world task performance by an average of 21.3%. These results demonstrate that AtomicRL effectively improves the learning efficiency and manipulation performance of VLA policies on long-horizon tasks.