MatchFusion: Explicit-Implicit Instance Matching for Spatio-Temporal Multimodal Autonomous Driving

📄 arXiv: 2609.25860v1 📥 PDF

作者: Xiaoyu Li, Jiajia Fu, Long Shi, Tianyu Du, Ruihang Li, Xian Wu, Lijun Zhao, Yingtao Zhang, Lining Sun, Ruifeng Li

分类: cs.CV, cs.RO

发布日期: 2026-09-22

备注: 8 pages, 4 figures

💡 一句话要点

提出MatchFusion以解决多模态自动驾驶中的实例匹配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态感知 实例匹配 自动驾驶 深度学习 几何相似性 语义一致性 信息融合

📋 核心要点

  1. 现有方法在多模态感知中面临几何差异和语义异构性导致的实例匹配不准确问题。
  2. MatchFusion通过几何相似性和类别一致性初始化匹配，并利用实例嵌入细化关联，结合显式与隐式匹配的优势。
  3. 实验表明，MatchFusion在nuScenes数据集上显著提高了感知准确性，同时降低了计算资源消耗。

📝 摘要（中文）

稀疏实例表示为空间LiDAR-相机和时间过去-当前交互提供了紧凑的接口。有效的交互需要可靠的实例对应关系，尽管存在几何差异和异构语义表示。基于注意力的方法利用上下文语义，但通常需要专门的表示对齐，增加了计算开销。相比之下，基于结构化对象状态的关联方法高效且可解释，但缺乏上下文证据来解决模糊匹配。为结合这些互补优势，本文提出了MatchFusion，一个用于多模态自动驾驶的可学习实例匹配与融合模块。MatchFusion通过几何相似性和类别一致性初始化成对亲和力，然后使用实例嵌入选择性地细化结构上合理的关联。实验结果表明，与先前的实例中心融合方法相比，MatchFusion系统在感知准确性上更高，同时减少了55.3%的FLOPs和39.3%的GPU内存使用，匹配-融合模块仅占总感知延迟的3.7%。

🔬 方法详解

问题定义：本文旨在解决多模态自动驾驶中实例匹配的挑战，现有方法在几何差异和语义异构性下难以保持可靠的实例对应关系。

核心思路：MatchFusion结合显式的几何相似性与隐式的语义一致性，通过学习的方式优化实例匹配，旨在提高匹配的准确性和效率。

技术框架：整体架构包括初始化阶段、细化阶段和信息交换阶段。首先通过几何相似性和类别一致性初始化亲和力，然后使用实例嵌入进行细化，最后通过残差聚合操作实现信息的自适应交换。

关键创新：MatchFusion的主要创新在于将显式和隐式匹配机制结合，形成统一的匹配-融合框架，显著提高了多模态感知的准确性和效率。

关键设计：在设计中，使用了多视图图像平面几何和运动补偿的BEV几何作为结构先验，损失函数和网络结构经过优化以适应多模态数据的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MatchFusion在nuScenes数据集上相比于先前的实例中心融合方法，感知准确性显著提升，同时FLOPs减少了55.3%，GPU内存使用降低了39.3%。匹配-融合模块的延迟仅占总感知延迟的3.7%，表明其高效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在自动驾驶、智能交通系统和机器人导航等领域。通过提高多模态感知的准确性，MatchFusion能够增强自动驾驶系统的安全性和可靠性，推动智能交通技术的发展。

📄 摘要（原文）

Sparse instance representations provide a compact interface for spatial LiDAR-camera and temporal past-current interaction in multimodal perception and E2EAD. Effective interaction requires reliable instance correspondences despite geometric discrepancies and heterogeneous semantic representations. Attention-based methods exploit contextual semantics but often require specialized representation alignment, increasing computational overhead. In contrast, association based on structured object states is efficient and interpretable but lacks contextual evidence to resolve ambiguous matches. To combine these complementary strengths, we propose MatchFusion, a learnable instance matching and fusion module for spatio-temporal multimodal autonomous driving. MatchFusion initializes pairwise affinities using geometric similarity and category consistency, then selectively refines structurally plausible associations using instance embeddings. The resulting soft matchmap guides a common residual aggregation operator for adaptive information exchange. This unified matching-fusion formulation supports spatial LiDAR-camera and temporal past-current interaction, using multi-view image-plane geometry and motion-compensated BEV geometry as the respective structural priors. Experiments on nuScenes demonstrate consistent perception gains across diverse front-end configurations. Compared with a prior instance-centric fusion method, the MatchFusion-equipped system achieves higher perception accuracy while reducing FLOPs by 55.3% and GPU memory usage by 39.3%, with the matching-fusion module accounting for only 3.7% of total perception latency. Integrating temporal MatchFusion into SparseDrive further improves perception within an E2E framework without additional supervision. These results establish explicit-implicit matching as an effective and efficient mechanism for spatio-temporal instance interaction.