Outperforming 1000 Euclidean Layers With Hyperbolic Goal-Conditioned RL
作者: Timo Klein, Thomas Lang, Andrii Shkabrii, Lukas Miklautz, Yllka Velaj, Sebastian Tschiatschek
分类: cs.LG, stat.ML
发布日期: 2026-10-14
🔗 代码/项目: GITHUB
💡 一句话要点
通过超曲率目标条件强化学习超越1000层欧几里得网络
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 超曲率几何 对比强化学习 导航任务 网络优化 自监督学习
📋 核心要点
- 现有的自监督对比强化学习方法在深度增加时，计算时间线性增长，限制了其在复杂环境中的应用。
- 论文提出通过超曲率几何替代欧几里得几何，使用测地距离来优化对比目标，从而提高网络性能。
- 实验结果显示，深度为64的超曲率代理在训练速度上比1024层的欧几里得网络快12倍，且参数量减少约13倍。
📝 摘要（中文）
自监督对比强化学习（CRL）在1000层欧几里得神经网络上实现了最先进的目标达成性能，但其计算时间与网络深度成线性关系。本文发现，通过改变几何结构，可以在更浅的网络中实现更强的性能，尤其在复杂的导航环境中，路径距离与欧几里得距离的偏差显著。我们提出超曲率CRL，通过在CRL的对比目标中用超曲率空间的测地距离替代欧几里得距离，解决了这一不匹配问题。在困难的导航任务中，深度为64的超曲率代理在训练速度上超过了1024层的欧几里得网络，且参数使用量减少了约13倍。实验表明，超曲率代理在复杂的人形迷宫中表现更佳，能够沿走廊到达目标，而欧几里得代理则试图通过墙壁走直线捷径。
🔬 方法详解
问题定义：本文旨在解决自监督对比强化学习在复杂导航环境中由于路径与欧几里得距离偏差而导致的性能瓶颈。现有方法在网络深度增加时，计算时间线性增长，限制了其应用。
核心思路：论文的核心思路是通过引入超曲率几何，使用测地距离替代欧几里得距离，从而在较浅的网络中实现更高的性能。这种设计能够更好地适应复杂环境中的导航任务。
技术框架：整体架构包括超曲率空间的构建、对比目标的优化以及强化学习策略的训练。主要模块包括测地距离计算、对比损失函数和策略更新机制。
关键创新：最重要的技术创新在于将超曲率几何引入对比强化学习中，显著提高了在复杂环境中的导航能力，与传统的欧几里得方法相比，能够在更少的参数和更浅的网络中实现更优的性能。
关键设计：关键设计包括损失函数的调整，以适应超曲率空间的特性，以及网络结构的优化，使得深度为64的超曲率代理能够在训练中表现出色。
🖼️ 关键图片
📊 实验亮点
实验结果表明，深度为64的超曲率代理在困难的导航任务中表现优于1024层的欧几里得网络，训练速度提高超过12倍，参数使用量减少约13倍，显示出超曲率几何在强化学习中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶和复杂环境中的路径规划。通过优化网络结构和几何表示，能够在资源受限的情况下实现高效的决策与控制，未来可能推动智能体在动态和复杂环境中的广泛应用。
📄 摘要（原文）
Scaling self-supervised contrastive reinforcement learning (CRL) to 1000-layer Euclidean neural networks has enabled state-of-the-art goal-reaching performance, yet wall-clock time scales linearly with depth. We find that changing the geometry achieves stronger performance with far shallower networks. This matters in complex navigation environments, where walls can make route distance deviate substantially from Euclidean distance. In a U-shaped maze, we show that the longer the route, the more it deviates from Euclidean distance. Hyperbolic CRL addresses this mismatch by replacing Euclidean distances in CRL's contrastive objective with geodesic distances in hyperbolic space. On hard navigation tasks, inductive bias beats scale: depth 64 hyperbolic agents outperform 1024-layer-deep Euclidean networks while training more than $12 \times$ faster and using about $13 \times$ fewer parameters. We observe that hyperbolic agents behave qualitatively better in hard humanoid mazes, where they follow corridors to reach goals, whereas Euclidean agents try straight-line shortcuts over walls. Our results show that matching the representation geometry to the task can substitute for substantial network depth. Code is at https://github.com/Probabilistic-and-Interactive-ML/HypGCRL .