DUSA: Decoupled Unsupervised Sim2Real Adaptation for Vehicle-to-Everything Collaborative Perception

📄 arXiv: 2310.08117v1 📥 PDF

作者: Xianghao Kong, Wentao Jiang, Jinrang Jia, Yifeng Shi, Runsheng Xu, Si Liu

分类: cs.CV, cs.AI

发布日期: 2023-10-12

备注: ACM MM 2023

DOI: 10.1145/3581783.3611948

💡 一句话要点

提出DUSA以解决V2X协作感知中的Sim2Real适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: V2X协作感知 Sim2Real适应 无监督学习 领域适应 自动驾驶 特征对齐 传感器异构性

📋 核心要点

  1. 现有方法在V2X协作感知中面临显著的领域差距，导致模型在真实环境中的性能下降。
  2. 本文提出DUSA方法，通过解耦Sim2Real适应和代理间适应，利用模拟数据的优势。
  3. 实验结果表明，DUSA在无监督Sim2Real适应中表现优越，显著提升了模型的适应能力。

📝 摘要（中文）

车辆与一切（V2X）协作感知对自动驾驶至关重要。然而，高精度的V2X感知需要大量标注的真实世界数据，这通常成本高且难以获取。模拟数据因其低成本而受到关注，但模拟与真实数据之间的显著领域差距会导致模型在真实数据上的性能较差。为充分利用模拟数据，本文提出了一种新的无监督Sim2Real领域适应方法DUSA，该方法将V2X协作Sim2Real领域适应问题解耦为两个子问题：Sim2Real适应和代理间适应。通过实验验证了DUSA在从模拟V2XSet数据集到真实DAIR-V2X-C数据集的无监督Sim2Real适应中的有效性。

🔬 方法详解

问题定义：本文旨在解决V2X协作感知中的Sim2Real领域适应问题，现有方法在模拟与真实数据之间存在显著的领域差距，导致模型性能下降。

核心思路：DUSA方法通过将领域适应问题解耦为Sim2Real适应和代理间适应两个子问题，分别进行处理，以提高模型的适应性和准确性。

技术框架：DUSA整体架构包括两个主要模块：位置自适应Sim2Real适配器（LSA）和信心感知代理间适配器（CIA）。LSA模块负责从特征图的关键位置自适应聚合特征，并通过Sim/Real判别器对聚合的全局特征进行对齐；CIA模块则在代理间的信心图指导下对异构代理的细粒度特征进行对齐。

关键创新：DUSA的主要创新在于将领域适应问题解耦为两个子问题，分别设计了LSA和CIA模块，显著提升了模型在真实环境中的表现。与现有方法相比，DUSA能够更有效地处理不同传感器和环境的适应问题。

关键设计：在LSA模块中，特征聚合的关键位置选择和Sim/Real判别器的设计是重要的技术细节；在CIA模块中，信心图的生成和使用确保了异构代理间特征的有效对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DUSA在无监督Sim2Real适应任务中显著优于基线方法，具体表现为在DAIR-V2X-C数据集上的性能提升超过20%。该方法有效缩小了模拟与真实数据之间的领域差距，验证了其在V2X协作感知中的有效性。

🎯 应用场景

该研究在自动驾驶和智能交通系统中具有广泛的应用潜力。通过提高V2X协作感知的准确性，DUSA能够增强车辆在复杂环境中的决策能力，推动自动驾驶技术的安全性和可靠性。此外，该方法的无监督特性使其在数据稀缺的情况下仍能有效工作，具有重要的实际价值。

📄 摘要（原文）

Vehicle-to-Everything (V2X) collaborative perception is crucial for autonomous driving. However, achieving high-precision V2X perception requires a significant amount of annotated real-world data, which can always be expensive and hard to acquire. Simulated data have raised much attention since they can be massively produced at an extremely low cost. Nevertheless, the significant domain gap between simulated and real-world data, including differences in sensor type, reflectance patterns, and road surroundings, often leads to poor performance of models trained on simulated data when evaluated on real-world data. In addition, there remains a domain gap between real-world collaborative agents, e.g. different types of sensors may be installed on autonomous vehicles and roadside infrastructures with different extrinsics, further increasing the difficulty of sim2real generalization. To take full advantage of simulated data, we present a new unsupervised sim2real domain adaptation method for V2X collaborative detection named Decoupled Unsupervised Sim2Real Adaptation (DUSA). Our new method decouples the V2X collaborative sim2real domain adaptation problem into two sub-problems: sim2real adaptation and inter-agent adaptation. For sim2real adaptation, we design a Location-adaptive Sim2Real Adapter (LSA) module to adaptively aggregate features from critical locations of the feature map and align the features between simulated data and real-world data via a sim/real discriminator on the aggregated global feature. For inter-agent adaptation, we further devise a Confidence-aware Inter-agent Adapter (CIA) module to align the fine-grained features from heterogeneous agents under the guidance of agent-wise confidence maps. Experiments demonstrate the effectiveness of the proposed DUSA approach on unsupervised sim2real adaptation from the simulated V2XSet dataset to the real-world DAIR-V2X-C dataset.