Distance Field Driven Reinforcement Learning for Reactive and Robust Collision Avoidance
作者: Taiga Ikeshima, Sheila Sutjipto, Lan Wu, Francisco J. Naranjo-Campos, Taiki Ishigaki, Taisuke Kobayashi, Teresa A. Vidal-Calleja, Eiichi Yoshida
分类: cs.RO
发布日期: 2026-10-21
备注: Accepted to 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
💡 一句话要点
提出基于距离场的强化学习以解决碰撞避免问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 碰撞避免 欧几里得距离场 机器人技术 动态环境 零-shot转移 鲁棒性
📋 核心要点
- 现有的碰撞避免方法在将模拟学习的策略转移到真实环境时面临显著挑战，导致性能下降。
- 论文提出了一种将欧几里得距离场（EDF）集成到观察空间的强化学习框架，以提供几何线索，增强碰撞避免能力。
- 实验结果表明，该方法在7自由度冗余机械臂上实现了从模拟到真实环境的零-shot转移，并能有效应对动态障碍物。
📝 摘要（中文）
稳健且反应灵敏的碰撞避免是将强化学习（RL）策略部署到真实机器人操作中的核心挑战，尤其是在将模拟中学习的行为转移到物理世界时。本文提出了一种将欧几里得距离场（EDF）直接集成到观察空间的RL框架，为智能体提供连续的几何线索，以支持稳定和响应迅速的避免行为。通过利用EDF中编码的丰富空间信息，该方法实现了简化的奖励公式，有效地实现了障碍物避免。实验验证了该方法在7自由度冗余机械臂上的有效性，展示了从模拟到真实硬件的零-shot转移。尽管仅使用随机静态物体进行训练，部署的策略仍能在未见过的真实环境中进行稳健的动态障碍物在线避免。这些结果突显了基于EDF的表示在减小模拟与现实之间的差距方面的潜力，并支持在复杂和变化环境中的可靠实时碰撞感知行为。
🔬 方法详解
问题定义：本文旨在解决在真实环境中部署强化学习策略时，机器人在动态和复杂环境中进行稳健碰撞避免的挑战。现有方法在模拟与现实之间的转移效果不佳，导致机器人在真实场景中表现不稳定。
核心思路：论文的核心思路是将欧几里得距离场（EDF）直接集成到智能体的观察空间中，以提供连续的几何信息，从而增强智能体的反应能力和稳定性。通过这种方式，智能体能够更好地理解周围环境，做出及时的避障决策。
技术框架：整体框架包括三个主要模块：首先是环境建模，通过EDF获取环境的几何信息；其次是强化学习策略的训练，利用EDF信息优化奖励机制；最后是策略的部署与验证，确保在真实环境中的有效性。
关键创新：最重要的创新点在于将EDF作为观察输入，提供了比传统方法更丰富的空间信息。这种设计使得智能体能够在复杂环境中实现更高效的碰撞避免，显著减小了模拟与现实之间的性能差距。
关键设计：在关键设计方面，论文采用了简化的奖励函数，强调了与障碍物的距离信息。此外，网络结构经过优化，以适应EDF输入的特征，确保智能体能够快速响应环境变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在7自由度冗余机械臂上实现了从模拟到真实环境的零-shot转移，且在未见过的真实环境中成功进行了动态障碍物的在线避免，展现出优越的适应性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人和自动驾驶车辆等。通过提高机器人在动态环境中的碰撞避免能力，能够显著提升其在实际应用中的安全性和可靠性，推动智能机器人技术的广泛应用。
📄 摘要（原文）
Robust and reactive collision avoidance remains a central challenge for deploying Reinforcement Learning (RL) policies on real robotic manipulators, particularly when transferring behaviours learned in simulation to the physical world. This paper presents an RL framework that integrates the Euclidean Distance Field (EDF) directly into the observation space, providing the agent with continuous geometric cues that support stable and responsive avoidance behaviours. By leveraging the rich spatial information encoded in the EDF, the method enables a streamlined reward formulation that achieves effective obstacle avoidance both with and without Artificial Potential Field guidance. The proposed approach is validated on a 7-DoF redundant manipulator, demonstrating zero-shot transfer from simulation to real hardware. Despite being trained exclusively with randomised static objects, the deployed policy generalizes to previously unseen real environments and exhibits robust online avoidance of dynamic obstacles. These results highlight the potential of EDF-based representations to mitigate the sim-to-real gap and support reliable and real-time collision-aware behaviour in complex and changing environments.