NavAble: A Large-Scale Dataset and Synthetic Data Generation Pipeline for Blind Navigation

📄 arXiv: 2610.19330v1 📥 PDF

作者: Hochul Hwang, Jahir Sadik Monon, Soowan Yang, Shiven Umeshbhai Patel, Anh Nhat Hong Nguyen, Kien Nguyen, Keshav Garg, Dylan Gage, Duretti Hordofaa, Anshu Anjna, Eshed Ohn-Bar, Donghyun Kim

分类: cs.CV, cs.RO

发布日期: 2026-10-14

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出NavAble以解决盲人导航数据匮乏问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 无障碍导航 数据集 合成数据 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在无障碍物体识别上存在数据稀缺、类覆盖不足和注释不一致等挑战。
  2. 论文提出NavAble数据集，结合真实和合成数据，增强无障碍物体的识别能力。
  3. 实验结果显示，微调模型在NavAble数据集上可达80%以上的mIoU，合成数据增强效果显著。

📝 摘要（中文）

可靠识别对盲人和低视力用户至关重要的无障碍物体（如可听行人信号、门激活按钮和扶手）是辅助导航技术的关键。然而，现有的大规模视觉数据集中这些类别的代表性不足，且现有数据集在类覆盖、注释一致性和多样性方面存在缺陷。为此，我们提出了NavAble，一个涵盖11个无障碍物体类别的大规模数据集，结合了41K经过策划的开源图像和8K新收集的真实世界图像。我们还开发了一个合成数据生成管道，能够在37个环境中渲染高保真3D资产，生成452K帧丰富的真实标注数据。实验表明，在NavAble数据集上微调现有分割模型可实现超过80%的mIoU，合成数据增强可提高3.5 mIoU。NavAble为盲人导航感知奠定了可扩展的基础，直接解决了数据稀缺和体现差距的问题。

🔬 方法详解

问题定义：本论文旨在解决盲人和低视力用户在导航过程中对无障碍物体识别的需求，现有方法在数据集的类覆盖和多样性方面存在明显不足，导致模型性能受限。

核心思路：论文提出NavAble数据集，通过结合真实和合成数据，提供丰富的无障碍物体样本，以提升模型在实际应用中的识别能力。

技术框架：整体架构包括数据收集、合成数据生成和模型训练三个主要模块。首先，通过网络爬虫收集开源图像，然后利用VLM进行过滤，接着使用SAM 3D生成资产，最后配置相机轨迹生成合成数据。

关键创新：NavAble的最大创新在于其合成数据生成管道，能够在多样化的环境和视角下生成高保真数据，显著减少了人工收集的工作量。

关键设计：在合成数据生成中，采用了自动化的图像爬取、基于视觉语言模型的过滤和3D资产生成等技术，确保生成数据的多样性和高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在NavAble数据集上微调现有分割模型可实现超过80%的mIoU，相较于仅使用真实数据的微调，合成数据增强可提高3.5 mIoU。此外，在两种移动辅助机器人上的验证显示，实际导航场景中的感知可靠性得到了显著提升。

🎯 应用场景

该研究的潜在应用领域包括盲人导航辅助设备、智能交通系统和机器人导航等。通过提供丰富的无障碍物体数据，NavAble能够提升相关技术的感知能力，促进无障碍环境的建设，增强盲人和低视力用户的独立出行能力。

📄 摘要（原文）

Reliable recognition of accessibility-critical objects (e.g., audible pedestrian signals, door-activation buttons, and handrails) is essential for assistive navigation technologies that support safe, independent mobility for blind and low-vision (BLV) users. Yet these categories are underrepresented in existing large-scale vision datasets, and the few datasets that include them suffer from limited class coverage, inconsistent annotations, and poor diversity. We introduce NavAble, a large-scale dataset spanning 11 accessibility-critical object classes, combining 41K curated open-source images with 8K newly collected, densely annotated real-world images. To extend scale and diversity, we develop a synthetic data generation pipeline that renders high-fidelity 3D assets across 37 environments under diverse styles and viewpoints, yielding 452K frames with rich ground-truth annotations from 565 assets. The pipeline minimizes manual effort by combining automated web image crawling, VLM-based filtering, SAM 3D-based asset generation, and convenient camera trajectory configuration, enabling large-scale data generation at a diversity unattainable through manual collection. Experiments show that fine-tuning existing segmentation models on the NavAble Dataset achieves reliable accessibility-object segmentation (>80% mIoU on our held-out test set). We also demonstrate the effectiveness of synthetic data augmentation, which yields up to +3.5 mIoU over real-world-only fine-tuning. Beyond benchmark evaluation, validation on egocentric data from two mobility-assistive robots demonstrates improved perception reliability in real-world navigation scenarios. Together, NavAble establishes a scalable foundation for BLV navigation perception, directly addressing the data scarcity and embodiment gaps. The dataset and pipeline are publicly available at https://huggingface.co/datasets/NavAble/NeurIPS_2026_BLV.