HM3D-M3: A Benchmark for Multi-Agent, Multi-Modal, Multi-Object Goal Navigation

📄 arXiv: 2610.20121v1 📥 PDF

作者: Hongyu Ding, Kanyu Xu, Mingjia Chen, Zixuan Chen, Jieqi Shi, Jing Huo, Yifan Zhang, Yang Gao

分类: cs.RO

发布日期: 2026-10-14

备注: Project Page: https://robo-lavira.github.io/hm3d-m3/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HM3D-M3基准以解决多智能体、多模态、多目标导航问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多智能体系统 多模态导航 目标识别 机器人协作 基准评估

📋 核心要点

  1. 现有基准在多智能体、多模态和多目标导航方面研究较为孤立，缺乏综合性评估。
  2. 论文提出HM3D-M3基准，结合多智能体、多模态和多目标导航，提供统一的评估框架。
  3. 实验结果显示，基线模型HiGA和LaViRA-M3在目标成功率上达到38-41%，显著优于现有方法。

📝 摘要（中文）

随着人工智能和机器人技术的快速发展，未来人类将由一组机器人服务。这些机器人团队将同时接收多个目标，目标可以是类别名称、照片或口头描述等多种形式。现有基准研究多智能体、多模态和多目标导航，但缺乏将三者结合的基准。为此，我们提出了HM3D-M3。该基准在一个逼真的室内场景中，K个智能体从不同位置出发，寻找M个无序的目标对象，目标以开放词汇的类别、实例图像或实例描述的形式给出。HM3D-M3提供了1000个验证集、3926个目标和379个开放词汇类别的样本，以及10万个观察分配的训练样本和两个团队级别的指标。我们还贡献了两个基线模型，HiGA和LaViRA-M3，分别在目标分配和共享映射方面展示了优势。

🔬 方法详解

问题定义：本论文旨在解决现有基准在多智能体、多模态和多目标导航研究中的孤立性问题。现有方法无法同时处理多种目标形式，限制了智能体的导航能力。

核心思路：我们提出HM3D-M3基准，允许多个智能体在一个场景中同时接收和处理多种形式的目标信息，从而提升导航的灵活性和效率。

技术框架：HM3D-M3的整体架构包括多个智能体从不同位置出发，利用开放词汇的目标描述进行导航。主要模块包括目标识别、路径规划和团队协作。

关键创新：HM3D-M3的创新在于将多智能体、多模态和多目标导航结合在一个基准中，提供了一个全面的评估标准，填补了现有研究的空白。

关键设计：在技术细节上，论文设计了两个基线模型，HiGA使用分层目标分配策略，而LaViRA-M3则采用无训练的VLM智能体，二者在目标成功率和任务完成时间上表现出不同的优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，适应性多机器人和零样本方法的目标成功率（SR）在16-27%之间，而我们的基线模型HiGA和LaViRA-M3的SR达到了38-41%，显示出显著的性能提升，且各自具有互补的优势和不同的失败模式。

🎯 应用场景

该研究的潜在应用领域包括智能家居、仓储物流和自动驾驶等场景。在这些场景中，机器人需要同时处理多个任务并与人类进行高效协作。未来，HM3D-M3基准将为多智能体系统的研究提供重要的参考和指导，推动相关技术的发展。

📄 摘要（原文）

Rapid progress in AI agents and robotics makes it a matter of the near future that humans are served by a team of robots. Such a team will receive several goals at once, each specified in whatever form is convenient for the human, such as a category name, a photo, or a spoken description. Existing benchmarks study multi-agent, multi-modal, and multi-object goal navigation in isolation, and a benchmark that places all three in one episode is missing. To fill this gap, we introduce HM3D-M3. A team of K agents starts at distributed locations in a photorealistic indoor scene and searches for an unordered set of M object goals, each given as an open-vocabulary category, an instance image, or an instance description. HM3D-M3 provides 1,000 validation episodes over 3,926 goals from 379 open-vocabulary categories, 100K observation-assignment training samples, and two team-level metrics, goal-level SR and makespan-normalized SPL. We further contribute two baselines. HiGA is a trained hierarchical goal assigner on top of a frozen open-vocabulary navigation policy, and LaViRA-M3 is a training-free team of VLM agents with shared mapping and progress analysis. Adapted multi-robot and zero-shot methods reach 16--27% SR, while our baselines reach 38--41% with complementary strengths and distinct failure modes. Furthermore, we deploy LaViRA-M3 on a heterogeneous three-robot team. Project page: https://robo-lavira.github.io/hm3d-m3/