AVOID: The Adverse Visual Conditions Dataset with Obstacles for Driving Scene Understanding

📄 arXiv: 2512.23215v1 📥 PDF

作者: Jongoh Jeong, Taek-Jin Song, Jong-Hwan Kim, Kuk-Jin Yoon

分类: cs.CV

发布日期: 2025-12-29

💡 一句话要点

AVOID：用于驾驶场景理解的含障碍物恶劣视觉条件数据集

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自动驾驶 道路障碍物检测 恶劣视觉条件 数据集 模拟环境

📋 核心要点

  1. 现有驾驶数据集缺乏在恶劣视觉条件下，与其它类别同域的道路障碍物数据，限制了自动驾驶感知系统的鲁棒性。
  2. AVOID数据集旨在提供一个包含各种恶劣天气和光照条件下的道路障碍物图像，以及语义、深度、LiDAR和航点信息的数据集。
  3. 论文在AVOID数据集上对实时障碍物检测网络进行了基准测试，并使用多任务网络进行了语义分割、深度和航点预测的消融研究。

📝 摘要（中文）

为了智能自动驾驶汽车，理解道路场景至关重要。尤其是在各种恶劣条件（如天气和日光）下，可靠地实时检测到意外的小型道路障碍物是理想的。然而，现有的道路驾驶数据集通常只提供在正常或恶劣场景下获取的大规模图像，并且通常不包含与其他类别在同一视觉域中捕获的道路障碍物。为了解决这个问题，我们引入了一个名为AVOID的新数据集，即恶劣视觉条件数据集，用于在模拟环境中收集的实时障碍物检测。AVOID包含大量位于每条路径上的意外道路障碍物，这些障碍物是在各种天气和时间条件下捕获的。每张图像都配有相应的语义图和深度图、原始和语义LiDAR数据以及航点，从而支持大多数视觉感知任务。我们对用于障碍物检测任务的高性能实时网络进行了基准测试，并提出并使用综合多任务网络进行语义分割、深度和航点预测任务的消融研究。

🔬 方法详解

问题定义：论文旨在解决自动驾驶场景下，在恶劣视觉条件下实时检测道路障碍物的问题。现有的道路驾驶数据集要么只包含正常场景，要么只包含恶劣场景，并且通常缺乏与其它类别在同一视觉域中捕获的道路障碍物数据。这使得训练出的模型在实际复杂环境中泛化能力不足，难以可靠地检测出道路上的潜在危险。

核心思路：论文的核心思路是构建一个包含各种恶劣视觉条件（天气、光照）下的道路障碍物数据集，并提供丰富的标注信息（语义、深度、LiDAR、航点），从而为训练更鲁棒的自动驾驶感知模型提供数据基础。通过在模拟环境中生成数据，可以方便地控制各种条件，并获取精确的标注。

技术框架：AVOID数据集的构建流程主要包括以下几个阶段：首先，在模拟环境中设置不同的天气和光照条件；然后，在道路上随机放置各种障碍物；接着，使用虚拟相机和传感器（LiDAR）采集图像、深度图、语义图和点云数据；最后，对采集到的数据进行标注，包括障碍物的类别、位置、深度等信息。数据集还提供了航点信息，用于支持路径规划任务。

关键创新：该论文的关键创新在于构建了一个专门针对恶劣视觉条件下的道路障碍物检测的数据集。与现有数据集相比，AVOID数据集更加关注恶劣天气和光照条件下的障碍物检测，并且提供了丰富的标注信息，可以支持多种视觉感知任务。此外，数据集是在模拟环境中生成的，可以方便地扩展和修改，以满足不同的研究需求。

关键设计：AVOID数据集包含多种天气条件（晴天、雨天、雾天、雪天）和时间条件（白天、夜晚、黄昏）。障碍物的种类包括行人、车辆、交通锥、垃圾桶等。数据集的图像分辨率为1920x1080。论文还使用了常见的实时目标检测网络（具体网络名称未知）作为基线模型，并在数据集上进行了性能评估。多任务网络用于语义分割、深度预测和航点预测，损失函数和网络结构的具体细节未知。

📊 实验亮点

论文在AVOID数据集上对高性能实时网络进行了基准测试，结果表明，现有模型在恶劣视觉条件下的障碍物检测性能仍然有待提高。此外，论文还使用多任务网络进行了语义分割、深度和航点预测的消融研究，结果表明，多任务学习可以提高模型的整体性能。具体的性能数据和提升幅度未知。

🎯 应用场景

AVOID数据集可用于训练和评估自动驾驶汽车的感知系统，尤其是在恶劣视觉条件下的障碍物检测能力。该数据集可以促进相关算法的开发和改进，提高自动驾驶汽车在复杂环境中的安全性和可靠性。此外，该数据集还可以应用于机器人导航、智能监控等领域。

📄 摘要（原文）

Understanding road scenes for visual perception remains crucial for intelligent self-driving cars. In particular, it is desirable to detect unexpected small road hazards reliably in real-time, especially under varying adverse conditions (e.g., weather and daylight). However, existing road driving datasets provide large-scale images acquired in either normal or adverse scenarios only, and often do not contain the road obstacles captured in the same visual domain as for the other classes. To address this, we introduce a new dataset called AVOID, the Adverse Visual Conditions Dataset, for real-time obstacle detection collected in a simulated environment. AVOID consists of a large set of unexpected road obstacles located along each path captured under various weather and time conditions. Each image is coupled with the corresponding semantic and depth maps, raw and semantic LiDAR data, and waypoints, thereby supporting most visual perception tasks. We benchmark the results on high-performing real-time networks for the obstacle detection task, and also propose and conduct ablation studies using a comprehensive multi-task network for semantic segmentation, depth and waypoint prediction tasks.