GroundSight at GroundLM 2026 Shared Tasks: GoldenViewVQA

📄 arXiv: 2610.11402v1 📥 PDF

作者: Kun Wang, Yupeng Hu, Ruping Cao, Hao Liu, Zhiran Li, Qianlong Xiang, Harry Cheng

分类: cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出CoVeR-VQA以解决多视角视觉问答中的证据定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多视角视觉问答 证据定位 多阶段验证 无训练框架 智能推理

📋 核心要点

  1. 现有的多视角视觉问答方法在证据定位和答案准确性方面存在挑战，尤其是在复杂场景下。
  2. 论文提出的CoVeR-VQA框架通过多阶段的验证与修正，逐步提高答案的准确性和证据的定位精度。
  3. 在GoldenViewVQA测试集上，CoVeR-VQA实现了84.75%的联合准确率，相较于基线提升显著，显示出其有效性。

📝 摘要（中文）

GoldenViewVQA要求模型同时回答驾驶场景问题并识别包含支持视觉证据的相机视图，因此精确的证据定位与答案的正确性同样重要。我们提出了CoVeR-VQA，这是一个无训练的多阶段验证与修正框架，旨在解决多视角视觉问答问题。CoVeR-VQA从GPT-5.6的零-shot预测开始，逐步应用视图特定验证、基于先验的联合验证以及跨分组的验证，最终在GoldenViewVQA测试集上实现了84.75%的联合准确率，相较于GPT-5.6的零-shot基线提升了13.56个百分点，同时达到了94.92%的答案准确率和86.44%的视图准确率。经过两次额外的后期修正，最终提交的结果达到了88.14%的联合准确率。我们的分析表明，支持视图的定位仍然是残余错误的主要来源，强调了显式证据验证在可靠的多视角多模态推理中的重要性。

🔬 方法详解

问题定义：本论文旨在解决多视角视觉问答中的证据定位问题，现有方法在复杂场景下的答案准确性和证据定位精度不足，导致推理结果不可靠。

核心思路：CoVeR-VQA框架通过无训练的多阶段验证与修正，结合不同模型的优势，逐步提高答案的准确性和证据的定位精度。

技术框架：CoVeR-VQA的整体架构包括四个主要阶段：从GPT-5.6的零-shot预测开始，接着进行视图特定验证、基于先验的联合验证，最后进行跨分组的验证，利用语义过滤的问题组和验证导出的先验知识。

关键创新：最重要的技术创新在于其多阶段的验证机制，特别是视图特定验证和基于先验的联合验证，这与现有方法的单一验证策略形成了鲜明对比。

关键设计：在设计中，采用了不同模型（如Gemini-3.6-Flash和Claude-Opus-5）进行联合验证，确保了多视角信息的有效利用，同时在损失函数和参数设置上进行了优化，以提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在GoldenViewVQA测试集上，CoVeR-VQA的四阶段管道实现了84.75%的联合准确率，相较于GPT-5.6的零-shot基线提升了13.56个百分点，同时达到了94.92%的答案准确率和86.44%的视图准确率，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和增强现实等场景，能够帮助系统更准确地理解和推理复杂的视觉信息，提升人机交互的智能化水平。未来，该方法有望在多模态学习和视觉问答领域产生深远影响。

📄 摘要（原文）

GoldenViewVQA requires models to jointly answer driving-scene questions and identify the camera view containing the supporting visual evidence, making precise evidence localization as important as answer correctness. We present \textbf{CoVeR-VQA}, a training-free multi-stage verification and correction framework for grounded multi-view VQA. Starting from GPT-5.6 zero-shot predictions, CoVeR-VQA progressively applies view-specific verification with Gemini-3.6-Flash, prior-guided joint verification with Claude-Opus-5, and cross-split group-level verification that exploits semantically filtered question groups from shared multi-view scenes and validation-derived prior knowledge. On the official GoldenViewVQA test set, the four-stage CoVeR-VQA pipeline achieves 84.75\% Joint Accuracy, improving the GPT-5.6 zero-shot baseline by 13.56 percentage points, while reaching 94.92\% Answer Accuracy and 86.44\% View Accuracy. The final submitted run achieves 88.14\% Joint Accuracy after two additional evaluator-informed post-hoc corrections. Our analysis shows that supporting-view localization remains the primary source of residual errors, highlighting the importance of explicit evidence verification for reliable multi-view multimodal reasoning.