OmniAct3D: Leveraging Foundation Geometry and Evidence-Grounded Reasoning for Panoramic 3D Detection

📄 arXiv: 2610.03015v1 📥 PDF

作者: Runtong Wu, Fei Teng, Di Wen, Guoqiang Zhao, Kunyu Peng, Kailun Yang

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-10-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出OmniAct3D以解决全景3D检测中的几何适配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全景3D检测 视觉基础模型 几何适配 移动体代理 视觉-行动推理

📋 核心要点

  1. 现有基于视觉基础模型的3D检测器受限于狭窄视角图像，难以实现全景感知。
  2. OmniAct3D框架通过ERP-Ray几何适配器和视觉-行动推理链，解决几何不匹配和证据定位问题。
  3. 实验结果显示，OmniAct3D在多个基准上显著提升了检测性能，表明其有效性和可重用性。

📝 摘要（中文）

准确的3D检测对于移动体代理至关重要，而视觉基础模型（VFM）提供了可转移的视觉和几何先验。然而，现有基于VFM的3D检测器依赖于狭窄视角的单目图像或离散的透视视图，限制了对周围环境的连贯感知。全景矩形投影（ERP）能够在单张图像中编码连续的360度场景，但由于其几何和视觉信息的组织方式不同，直接迁移仍然困难。为此，我们提出了OmniAct3D框架，旨在将透视训练的VFM检测器适配到ERP，同时保留可转移的VFM先验。实验表明，OmniAct3D在Spheriverse上比之前最佳的3D检测器提升了2.96 NDS点，在PanoMMOcc上比未适配的VFM基线提升了24.87 mAP点。

🔬 方法详解

问题定义：本研究旨在解决现有3D检测器在全景环境中几何适配不足的问题。现有方法依赖于狭窄视角图像，导致对周围环境的感知不够连贯，难以有效建模和定位物体相关线索。

核心思路：OmniAct3D通过将透视训练的VFM检测器适配到全景矩形投影（ERP），并保留其可转移的视觉先验，来解决几何不匹配问题。该框架利用ERP-Ray几何适配器建模球形视线和周期性空间结构，以增强对全景场景的理解。

技术框架：OmniAct3D的整体架构包括三个主要模块：ERP-Ray几何适配器（ERGA-Ray）、视觉-行动推理链（VARC）和外观引导的朝向专家（AGHE）。ERGA-Ray负责处理几何适配，VARC用于在场景上下文中定位证据，而AGHE则通过更高分辨率重新编码物体区域以提高朝向估计的准确性。

关键创新：本研究的关键创新在于将透视训练的VFM检测器有效地适配到ERP，同时通过VARC实现了基于全景证据的结构化几何行动转换。这种方法与现有方法的本质区别在于其能够在全景环境中保持高效的物体级3D推理。

关键设计：在设计中，采用了针对特定目标的几何适配，VARC保持了95-98%的相同配置mAP，表明其在不同传感配置下的可重用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OmniAct3D在Spheriverse数据集上比之前最佳的3D检测器提升了2.96 NDS点，在PanoMMOcc数据集上比未适配的VFM基线提升了24.87 mAP点，验证了其在全景3D检测中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和虚拟现实等场景。通过提高全景3D检测的准确性，OmniAct3D能够增强移动体代理在复杂环境中的感知能力，推动智能系统的发展与应用。

📄 摘要（原文）

Accurate 3D detection is essential for mobile embodied agents, while Vision Foundation Models (VFMs) offer transferable visual and geometric priors. Yet existing VFM-based 3D detectors rely on narrow-view monocular images or discrete perspective views, limiting coherent surround perception; equirectangular projection (ERP) instead encodes a continuous 360 scene in a single image. Direct transfer remains difficult because ERP organizes geometry and visual information differently, making object-relevant cues hard to model, localize, and preserve. We propose OmniAct3D, a framework that adapts perspective-trained VFM detectors to ERP while preserving transferable VFM priors. To resolve geometric mismatch, the ERP-Ray Geometry Adapter (ERGA-Ray) models spherical viewing rays and periodic spatial structure. To localize evidence in scene-wide context, the Visual-Action Reasoning Chain (VARC) grounds each hypothesis in relevant panoramic evidence and converts it into a structured geometric action. To recover local cues lost under fixed token budgets, the Appearance-Guided Heading Expert (AGHE) re-encodes object regions at higher resolution for heading estimation. Experiments show that OmniAct3D improves over the previous best 3D detector by 2.96 NDS points on Spheriverse and over the unadapted VFM baseline by 24.87 mAP points on PanoMMOcc. With target-specific geometry adaptation, VARC retains 95--98% of the same-configuration mAP, indicating reusable object-level 3D reasoning across sensing configurations. The source code will be made publicly available at https://github.com/FeiT-FeiTeng/OmniAct3D.