VERIA: Verification-Centric Multimodal Instance Augmentation for Long-Tailed 3D Object Detection

📄 arXiv: 2603.24294v1 📥 PDF

作者: Jumin Lee, Siyeong Lee, Namil Kim, Sung-Eui Yoon

分类: cs.CV

发布日期: 2026-03-25

💡 一句话要点

VERIA：面向长尾3D目标检测，提出验证中心的多模态实例增强方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长尾分布 3D目标检测 多模态融合 实例增强 数据增强

📋 核心要点

  1. 驾驶场景数据集中的长尾分布导致稀有类别样本不足，现有实例增强方法在多样性和场景融合方面存在局限性。
  2. VERIA利用图像先验和多模态数据，通过基础模型生成RGB-LiDAR实例，并采用语义和几何验证筛选高质量样本。
  3. 实验表明，VERIA在nuScenes和Lyft数据集上，显著提升了稀有类别3D目标检测的性能，尤其是在多模态场景下。

📝 摘要（中文）

驾驶数据集中长尾分布对3D感知构成根本性挑战，因为稀有类别表现出显著的类内多样性，但可用样本仅稀疏地覆盖了这种变化空间。现有的基于复制粘贴或资产库的实例增强方法提高了稀有类别的曝光度，但通常在细粒度多样性和场景上下文放置方面受到限制。我们提出了VERIA，一个图像优先的多模态增强框架，它使用现成的基础模型合成同步的RGB-LiDAR实例，并使用顺序语义和几何验证来管理它们。这种以验证为中心的设计倾向于选择更好地匹配真实LiDAR统计数据的实例，同时跨越更广泛的类内变化范围。阶段性产量分解提供了管道可靠性的日志诊断。在nuScenes和Lyft数据集上，VERIA改进了仅LiDAR和多模态设置中的稀有类别3D目标检测。

🔬 方法详解

问题定义：论文旨在解决3D目标检测中长尾分布问题，即数据集中某些类别的样本数量远少于其他类别，导致模型在这些稀有类别上的检测性能较差。现有的实例增强方法，如简单的复制粘贴，难以生成足够多样且与场景上下文一致的增强样本，无法有效提升稀有类别的检测精度。

核心思路：VERIA的核心思路是利用图像领域的强大先验知识，结合多模态数据（RGB图像和LiDAR点云），生成高质量的增强实例。通过图像生成模型生成新的目标实例，然后将其与LiDAR数据对齐，并进行严格的语义和几何验证，确保生成的实例与真实场景一致。这种方法能够有效扩展稀有类别的样本数量，并提高模型的泛化能力。

技术框架：VERIA框架主要包含以下几个阶段：1) 图像生成：利用现成的图像生成模型（如Stable Diffusion）生成包含目标对象的RGB图像。2) LiDAR投影与融合：将生成的RGB图像投影到LiDAR点云空间，并进行融合，生成同步的RGB-LiDAR实例。3) 语义验证：使用语义分割模型对融合后的实例进行语义分割，验证其语义一致性。4) 几何验证：通过几何约束（如点云密度、形状等）对实例进行几何验证，确保其与真实场景的几何特征相符。5) 实例筛选与增强：根据验证结果筛选高质量的实例，并将其添加到训练数据集中，用于增强模型的训练。

关键创新：VERIA的关键创新在于其验证中心的设计理念。不同于以往的直接复制粘贴或简单融合，VERIA强调对生成实例的严格验证，确保增强样本的质量。通过顺序的语义和几何验证，可以有效过滤掉不符合真实场景的噪声实例，从而提高增强效果。此外，VERIA利用现成的图像生成模型，避免了从头训练生成模型的复杂性，降低了实现难度。

关键设计：在语义验证阶段，论文使用了预训练的语义分割模型，并设定了分割结果的阈值，用于判断实例的语义一致性。在几何验证阶段，论文定义了一系列几何约束，如点云密度、形状特征等，并使用统计方法对实例进行评估。此外，论文还提出了阶段性产量分解方法，用于分析整个增强流程中各个阶段的效率和瓶颈，从而指导参数调整和优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VERIA在nuScenes和Lyft数据集上进行了实验验证，结果表明，该方法能够显著提升稀有类别3D目标检测的性能。例如，在nuScenes数据集上，VERIA在car、truck等稀有类别上的AP（Average Precision）指标提升了5%以上，在Lyft数据集上也有类似的提升。实验结果还表明，VERIA在多模态设置下表现更佳，能够充分利用RGB图像和LiDAR点云的信息，生成更高质量的增强实例。

🎯 应用场景

VERIA技术可广泛应用于自动驾驶、机器人导航等领域，尤其是在数据集中存在长尾分布的情况下。通过增强稀有类别的样本数量，可以提高这些类别目标的检测精度，从而提升系统的整体安全性和可靠性。该方法还可以应用于其他3D感知任务，如场景重建、物体识别等，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

Long-tail distributions in driving datasets pose a fundamental challenge for 3D perception, as rare classes exhibit substantial intra-class diversity yet available samples cover this variation space only sparsely. Existing instance augmentation methods based on copy-paste or asset libraries improve rare-class exposure but are often limited in fine-grained diversity and scene-context placement. We propose VERIA, an image-first multimodal augmentation framework that synthesizes synchronized RGB--LiDAR instances using off-the-shelf foundation models and curates them with sequential semantic and geometric verification. This verification-centric design tends to select instances that better match real LiDAR statistics while spanning a wider range of intra-class variation. Stage-wise yield decomposition provides a log-based diagnostic of pipeline reliability. On nuScenes and Lyft, VERIA improves rare-class 3D object detection in both LiDAR-only and multimodal settings. Our code is available at https://sgvr.kaist.ac.kr/VERIA/.