Panoramic Multimodal Semantic Occupancy Prediction for Quadruped Robots

📄 arXiv: 2603.13108v1 📥 PDF

作者: Guoqiang Zhao, Zhe Yang, Sheng Wu, Fei Teng, Mengfei Duan, Yuanfan Zheng, Kai Luo, Kailun Yang

分类: cs.RO, cs.CV, eess.IV

发布日期: 2026-03-13

备注: The dataset and code will be publicly released at https://github.com/SXDR/PanoMMOcc

🔗 代码/项目: GITHUB | GITHUB

💡 一句话要点

针对四足机器人，提出PanoMMOcc数据集和VoxelHound框架，实现全景多模态语义占据预测。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 四足机器人 全景视觉 多模态融合 占据预测 垂直抖动补偿

📋 核心要点

  1. 现有占据预测方法主要为轮式自动驾驶设计，依赖RGB信息，在复杂环境中鲁棒性不足，无法直接应用于四足机器人。
  2. 提出VoxelHound框架，包含垂直抖动补偿模块，减轻机器人姿态变化的影响，并设计多模态信息提示融合模块，融合视觉和其他模态信息。
  3. 构建了PanoMMOcc数据集，并在该数据集上验证了VoxelHound的有效性，相较于现有方法，mIoU指标提升了4.16%。

📝 摘要（中文）

本文针对四足机器人全景视觉感知问题，提出了PanoMMOcc数据集和VoxelHound框架。PanoMMOcc是首个真实世界全景多模态占据数据集，包含四种感知模态和多样化场景。VoxelHound是一个全景多模态占据感知框架，专为足式移动和球面成像设计。该框架包含垂直抖动补偿（VJC）模块，用于减轻机器人移动过程中因俯仰和横滚引起的视角扰动，从而实现更一致的空间推理。此外，多模态信息提示融合（MIPF）模块有效利用全景视觉线索和辅助模态，以增强体素占据预测。基于PanoMMOcc数据集，本文建立了一个基准，并提供了详细的数据分析，以系统评估复杂环境下的感知方法。实验结果表明，VoxelHound在PanoMMOcc数据集上取得了最先进的性能（mIoU提升4.16%）。数据集和代码将在https://github.com/SXDR/PanoMMOcc公开发布，校准工具将在https://github.com/losehu/CameraLiDAR-Calib发布，以促进未来对具身机器人系统的全景多模态3D感知研究。

🔬 方法详解

问题定义：现有占据预测方法主要针对自动驾驶场景，依赖RGB图像，难以适应四足机器人复杂地形和视角变化。四足机器人运动时会产生剧烈的俯仰和横滚，导致图像畸变和空间信息错乱。此外，仅依赖视觉信息在光照变化、遮挡等情况下鲁棒性较差。因此，需要一种能够适应四足机器人运动特性，并有效融合多模态信息的占据预测方法。

核心思路：本文的核心思路是设计一个能够补偿机器人运动引起的视角抖动，并有效融合多模态信息的全景占据预测框架。通过垂直抖动补偿模块，校正图像畸变，提高空间一致性。通过多模态信息提示融合模块，将视觉信息与其他传感器信息（如LiDAR、IMU）融合，提高预测的鲁棒性和准确性。

技术框架：VoxelHound框架主要包含以下几个模块：1) 全景图像和多模态数据输入；2) 垂直抖动补偿（VJC）模块，用于校正由于机器人运动引起的图像垂直方向的抖动；3) 特征提取模块，提取全景图像和多模态数据的特征；4) 多模态信息提示融合（MIPF）模块，将不同模态的特征进行融合；5) 体素占据预测模块，预测每个体素的占据状态。

关键创新：本文的关键创新在于：1) 提出了垂直抖动补偿（VJC）模块，有效解决了四足机器人运动引起的图像畸变问题；2) 设计了多模态信息提示融合（MIPF）模块，能够有效融合全景视觉信息和辅助模态信息，提高占据预测的准确性和鲁棒性；3) 构建了首个针对四足机器人的全景多模态占据数据集PanoMMOcc，为相关研究提供了数据支持。

关键设计：垂直抖动补偿模块采用光流法估计图像的垂直方向运动，并对图像进行校正。多模态信息提示融合模块采用注意力机制，学习不同模态特征的权重，实现自适应融合。体素占据预测模块采用3D卷积神经网络，对体素进行分类。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VoxelHound在PanoMMOcc数据集上取得了state-of-the-art的性能，mIoU指标提升了4.16%。相较于仅使用RGB图像的方法，VoxelHound在复杂环境和光照变化下的鲁棒性更强。消融实验验证了VJC和MIPF模块的有效性，证明了多模态信息融合的优势。

🎯 应用场景

该研究成果可应用于四足机器人的自主导航、环境探索、搜索救援等领域。通过准确的占据预测，机器人可以更好地理解周围环境，规划安全路径，并执行复杂任务。此外，该方法也可推广到其他类型的移动机器人，如无人车、无人机等，具有广泛的应用前景。

📄 摘要（原文）

Panoramic imagery provides holistic 360° visual coverage for perception in quadruped robots. However, existing occupancy prediction methods are mainly designed for wheeled autonomous driving and rely heavily on RGB cues, limiting their robustness in complex environments. To bridge this gap, (1) we present PanoMMOcc, the first real-world panoramic multimodal occupancy dataset for quadruped robots, featuring four sensing modalities across diverse scenes. (2) We propose a panoramic multimodal occupancy perception framework, VoxelHound, tailored for legged mobility and spherical imaging. Specifically, we design (i) a Vertical Jitter Compensation (VJC) module to mitigate severe viewpoint perturbations caused by body pitch and roll during mobility, enabling more consistent spatial reasoning, and (ii) an effective Multimodal Information Prompt Fusion (MIPF) module that jointly leverages panoramic visual cues and auxiliary modalities to enhance volumetric occupancy prediction. (3) We establish a benchmark based on PanoMMOcc and provide detailed data analysis to enable systematic evaluation of perception methods under challenging embodied scenarios. Extensive experiments demonstrate that VoxelHound achieves state-of-the-art performance on PanoMMOcc (+4.16%} in mIoU). The dataset and code will be publicly released to facilitate future research on panoramic multimodal 3D perception for embodied robotic systems at https://github.com/SXDR/PanoMMOcc, along with the calibration tools released at https://github.com/losehu/CameraLiDAR-Calib.