EAGOR: Embodied Reasoning in Omni-direction
作者: Shriram Damodaran, Soumyaratna Debnath, Yan Wu, Wei-Yun Yau, Addison Lin Wang
分类: cs.RO
发布日期: 2026-07-07
备注: 12 Pages, 7 Figures, 4 Tables
💡 一句话要点
提出EAGOR以解决360°方向推理问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 360°视觉 方向推理 贝叶斯估计 机器人导航 几何感知 球面调和 智能体决策
📋 核心要点
- 现有方法将360°观测投影到2D图像，忽视了球面特性，导致方向估计不一致，影响导航性能。
- EAGOR通过在球面上进行递归贝叶斯估计，保持对目标方向的连续信念，解决了方向推理中的不一致性问题。
- 在HOS和OSR-Bench数据集上，EAGOR相较于现有方法分别提升了34.4%和45.6%的性能，同时提高了导航成功率14.6%。
📝 摘要（中文）
全向（360°）摄像头为具身智能体提供了对周围环境的整体视图，适用于导航和物体搜索等任务。然而，现有的视觉语言模型（VLMs）将360°观测投影到二维等距矩形图像（ERP），并使用为透视图像设计的架构进行处理，忽视了360°观测的球面特性，导致方向估计在摄像头视角变换下不一致。为此，本文提出了EAGOR，一个无训练、几何感知的360°方向推理框架，直接在球面上进行递归贝叶斯估计，保持对目标方向的连续信念，并在智能体运动下等变传播。我们引入了球面调和信念场（SH-BF），其球面调和表示为方向估计提供了全局定义的、旋转感知的基础。EAGOR在两个基准数据集和真实世界实验中表现优异，显著提升了导航成功率和方向推理的准确性。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言模型在处理360°观测时的方向估计不一致性问题，尤其是在智能体运动导致的视角变换下。现有方法将360°观测简化为2D图像，忽略了其球面特性，导致导航任务中的方向推理失效。
核心思路：EAGOR通过在球面上进行递归贝叶斯估计，直接处理360°观测，保持对目标方向的连续信念。这种设计使得方向推理能够在智能体运动时保持一致性，避免了传统方法中的视角变换问题。
技术框架：EAGOR的整体架构包括球面调和信念场（SH-BF）模块，该模块提供了一个全局定义的、旋转感知的基础，用于方向估计。通过该模块，EAGOR能够在不需要训练的情况下，实时更新和传播目标方向的信念。
关键创新：EAGOR的主要创新在于引入了球面调和信念场（SH-BF），这一表示方法消除了ERP接缝不连续性、纬度失真和插值误差，使得方向估计更加准确和稳定。
关键设计：EAGOR的设计中，SH-BF的参数设置和球面调和函数的选择是关键，确保了方向估计的全局一致性和旋转不变性。此外，框架无需对基础VLM进行训练，降低了实现的复杂性。
🖼️ 关键图片
📊 实验亮点
EAGOR在HOS和OSR-Bench数据集上分别实现了34.4%和45.6%的性能提升，同时在导航任务中成功率提高了14.6%，步数减少了17.7%，平均角度误差降低了24.5%。这些结果表明EAGOR在方向推理和导航任务中的显著优势。
🎯 应用场景
EAGOR在机器人导航、智能监控和增强现实等领域具有广泛的应用潜力。通过提供更准确的方向推理能力，EAGOR能够提升智能体在复杂环境中的自主决策能力，推动具身智能技术的发展。未来，EAGOR的设计理念也可扩展至其他多模态感知任务，进一步提升智能体的环境理解能力。
📄 摘要（原文）
Omni-directional (360°) cameras provide embodied agents with a holistic view of their surroundings, making them suited for directional reasoning in tasks such as navigation and object search. Existing Vision Language Models (VLMs) project 360° observations to 2D equirectangular projection (ERP) images and process them using architectures designed for perspective images. However, they ignore the spherical nature of 360° observations, where each pixel represents a viewing direction relative to the agent. Consequently, their direction estimates often become inconsistent under camera view transformations caused by agent motion. This limitation is particularly critical for map-free navigation, where the agent must continuously estimate the target direction in its egocentric frame. We propose EAGOR, a training-free, geometry-aware framework for embodied 360° directional reasoning. Instead of predicting target directions as ERP image coordinates, EAGOR formulates directional reasoning as recursive Bayesian estimation directly on the sphere. It maintains a continuous belief over target directions and propagates it equivariantly under agent motion without training the backbone VLMs. To achieve this, we introduce the Spherical Harmonic Belief Field (SH-BF), whose spherical harmonic representation provides a globally defined, rotation-aware basis for directional estimation on the spherical manifold. This formulation eliminates ERP seam discontinuities, latitude distortions, and interpolation errors. We evaluate EAGOR on two benchmark datasets and real-world experiments with a legged robot across directional reasoning tasks. EAGOR consistently outperforms existing methods, achieving average relative gains of +34.4% and +45.6% on HOS and OSR-Bench, respectively, while improving navigation success by +14.6%, reducing step count by 17.7%, and lowering mean angular error by 24.5%.