Seeing Fast and Slow: Bimodal 3D Scene Graphs for Open-set Tasks

📄 arXiv: 2605.31067v1 📥 PDF

作者: Marcel Bartholomeus Prasetyo, Shrutika Vishal Thengane, A Manicka Praveen, Yi Loo, Malika Meghjani

分类: cs.RO

发布日期: 2026-05-29

💡 一句话要点

BiMoSG：用于开放集任务的双模态3D场景图生成方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景图 双模态 开放集任务 机器人导航 实时部署

📋 核心要点

  1. 现有方法难以在粗略和精细场景表示之间切换，限制了机器人在开放环境中的任务执行效率。
  2. BiMoSG通过双模态场景图生成，在快速模式下生成粗略场景图，在慢速模式下生成精细场景图，实现效率与精度的平衡。
  3. 实验证明，BiMoSG显著提升了场景图生成速度，使其能够与任务执行过程集成，支持实时部署。

📝 摘要（中文）

本文提出了一种名为BiMoSG的双模态3D场景图生成方法，用于开放集任务。该方法能够根据上下文和机器人探索环境时不断变化的信息，在粗粒度和细粒度的场景表示之间无缝切换。BiMoSG默认采用“快速”模式，高效生成粗略的3D场景图；当机器人遇到可能包含任务相关对象的区域时，切换到“慢速”模式，生成更精细的开放词汇3D场景图。实验结果表明，BiMoSG的场景图生成速度明显快于目前最先进的开源方法，使其能够与任务执行过程集成，实现实时部署。

🔬 方法详解

问题定义：现有方法在开放集任务中，难以根据环境信息动态调整场景表示的粒度。粗粒度表示速度快但精度低，无法识别任务相关对象；细粒度表示精度高但速度慢，难以实时部署。因此，需要一种能够根据上下文自适应调整场景表示粒度的场景图生成方法。

核心思路：BiMoSG的核心思路是采用双模态场景图生成，即“快速”模式和“慢速”模式。快速模式用于生成粗略的场景图，快速定位环境；慢速模式用于生成精细的场景图，识别任务相关对象。通过在两种模式之间切换，实现效率和精度的平衡。

技术框架：BiMoSG的整体框架包含以下几个主要模块：1) 场景感知模块：负责感知周围环境，获取视觉和深度信息。2) 场景图生成模块：包含快速模式和慢速模式，分别生成粗略和精细的场景图。3) 任务执行模块：根据场景图信息，执行相应的任务。框架首先使用快速模式生成粗略场景图，当检测到可能包含任务相关对象的区域时，切换到慢速模式生成精细场景图，最后将场景图信息传递给任务执行模块。

关键创新：BiMoSG的关键创新在于双模态场景图生成机制。与现有方法相比，BiMoSG能够根据上下文自适应调整场景表示的粒度，从而在效率和精度之间取得平衡。这种双模态的设计使得BiMoSG能够更好地适应开放集任务的需求。

关键设计：论文中未明确给出关键参数设置、损失函数、网络结构等技术细节，具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文重点强调了BiMoSG在场景图生成速度上的优势，但未提供具体的性能数据和对比基线。摘要中提到BiMoSG显著快于现有方法，但缺乏量化结果，具体提升幅度未知。

🎯 应用场景

BiMoSG可应用于机器人导航、目标搜索、环境探索等领域。例如，在仓库机器人中，可以先使用快速模式进行全局导航，然后使用慢速模式识别特定货物。该方法能够提高机器人在复杂环境中的任务执行效率，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

Open-set task execution can significantly benefit from seamlessly switching between coarse and fine scene representations depending on the context and the evolving information as the robot explores the environment. For example, it is often sufficient to start with a coarse scene representation initially and only employ a finer, more granular scene representation when the robot encounters regions which are likely to contain the task relevant objects. Hence, in this work, we propose BiMoSG, a bimodal 3D scene graph generation approach for open-set tasks. BiMoSG employs a "fast" mode by default to efficiently generate a coarse 3D scene graph and can switch to a "slow" mode for generating a finer open vocabulary 3D scene graph of task relevant objects. We demonstrate that our proposed 3D scene graph generation approach is significantly faster than the open-source state-of-the-art approaches. This allows us to integrate the scene graph generation process with task execution for real-time deployment.