VeriFuse: Bounded Vision-Language Arbitration and Reason-Guided Refinement for Cooperative 3D Perception

📄 arXiv: 2609.21323v1 📥 PDF

作者: Hongyi Lin, Yiyao Liu, Qi Kang, Heye Huang, Yang Liu, Haris Koutsopoulos, Jinhua Zhao

分类: cs.CV

发布日期: 2026-09-18

备注: 8 pages, 4 figures

💡 一句话要点

提出VeriFuse以解决车辆与基础设施的协同3D感知问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 协同感知 3D检测 信息整合 智能交通 自动驾驶 多模态融合

📋 核心要点

  1. 现有方法在协同感知中对VLM的角色不明确，直接回归3D检测结果不可靠且计算开销大。
  2. VeriFuse通过生成源条件几何候选并结合多源信息，提供了一种有界的仲裁框架来优化3D检测。
  3. 在DAIR-V2X数据集上，VeriFuse的协同3D AP50/AP70分别达到了0.494和0.357，性能显著提升。

📝 摘要（中文）

视觉语言模型（VLMs）在多种任务中展现了强大的场景理解和语义判断能力，但其在协同感知中的适用角色尚不明确。直接要求VLM回归3D检测结果既不可靠又计算开销大，而仅依赖单一源的输出则会丢失其他代理的有用信息。为此，本文提出了VeriFuse，一个针对车辆与基础设施协同3D检测的有界仲裁框架。每个代理首先独立生成检测结果，VeriFuse围绕每个车辆和路边提案生成源条件几何候选，并将原始检测、其扰动及跨源假设结合成统一候选池。一个冻结的VLM在三种可接受的行动中进行选择：选择合适候选、在对象得到支持但所有候选几何不合适时对现有锚点进行细化，或拒绝不支持的基础设施提案。实验结果表明，VeriFuse在DAIR-V2X数据集上实现了0.494/0.357的协同3D AP50/AP70，并将300毫秒延迟下的相对车辆侧BEV AP50下降限制在1.7%。

🔬 方法详解

问题定义：本文旨在解决车辆与基础设施协同3D感知中的信息整合问题。现有方法在使用视觉语言模型（VLM）时，直接回归3D检测结果存在不可靠和计算开销大的问题，同时单一源的输出会导致信息丢失。

核心思路：VeriFuse框架的核心思想是通过生成源条件几何候选，结合多个代理的检测结果，优化3D检测的准确性和可靠性。该设计允许VLM在明确的约束下进行语义推理，从而减少不同代理假设之间的歧义。

技术框架：VeriFuse的整体架构包括多个模块：每个代理独立生成检测结果，随后围绕每个车辆和路边提案生成几何候选，最后通过冻结的VLM进行选择和优化。主要阶段包括候选生成、信息整合和最终选择。

关键创新：VeriFuse的主要创新在于其有界仲裁机制，允许VLM在选择、细化或拒绝候选时，依据几何约束进行决策。这一机制与现有方法相比，显著提高了信息利用率和决策的准确性。

关键设计：在设计中，VeriFuse使用了源条件几何候选生成技术，并结合了原始检测和扰动信息，确保候选池的多样性和全面性。此外，VLM的冻结状态确保了计算效率，避免了实时处理中的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DAIR-V2X数据集上的实验结果显示，VeriFuse在协同3D AP50/AP70上分别达到了0.494和0.357，相较于基线方法有显著提升。此外，在300毫秒延迟下，车辆侧BEV AP50的下降限制在1.7%，表现出良好的实时性能。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆的协同感知以及城市基础设施监测等。通过优化车辆与基础设施之间的信息共享与决策过程，VeriFuse能够提升交通安全性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language models (VLMs) have demonstrated strong scene understanding and semantic judgment across diverse tasks, but their appropriate role in cooperative perception remains unclear. Directly asking a VLM to regress 3D detections is unreliable and computationally expensive, whereas using it to select the output of a single source discards useful information from other agents. We introduce VeriFuse, a bounded arbitration framework for vehicle-infrastructure cooperative 3D detection. Each agent first produces detections independently. Around each vehicle and roadside proposal, VeriFuse generates source-conditioned geometric candidates and combines the original detections, their perturbations, and cross-source hypotheses into a unified candidate pool. A frozen VLM then chooses among three admissible actions: SELECT an adequate candidate; REFINE an existing anchor when an object is supported but all candidates are geometrically inadequate; or REJECT an unsupported infrastructure-only proposal. Experiments on the DAIR-V2X dataset show that VeriFuse achieves 0.494/0.357 cooperative 3D AP50/AP70 and limits the relative vehicle-side BEV AP50 drop under a 300 ms delay to 1.7%. Overall, VeriFuse assigns the VLM a clear and constrained role in cooperative perception: semantic reasoning resolves ambiguity among cross-agent hypotheses, while deterministic constraints determine the final 3D geometry.