Exemplar2VQA: A Scalable Exemplar-Driven Visual Question Answering Generation Framework via Multi-Agent Coding
作者: Jiayu Ying, Qijian Tian, Ruijie Xu, Xinnan Zhu, Daoguo Dong, Jiachen Xu, Xin Tan
分类: cs.CV
发布日期: 2026-09-29
备注: Accepted to NeurIPS 2026. 33 pages, 11 figures, 11 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出Exemplar2VQA以解决3D问答数据稀缺问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉问答 多模态学习 空间推理 合成数据 智能体系统
📋 核心要点
- 现有方法在生成复杂3D问答数据时面临稀缺性和空间推理能力不足的挑战。
- Exemplar2VQA通过多智能体编码和几何工具库，快速合成大规模空间问答对，克服了LLMs的局限性。
- 在多个基准测试中，使用Exemplar2VQA生成的合成数据对Qwen2.5-VL微调后，性能显著提升，且适用于室内外场景。
📝 摘要（中文）
在多模态大语言模型（MLLMs）中，空间智能的提升受到复杂、可扩展的3D问答（QA）数据稀缺的制约。手动标注劳动强度大，而直接利用LLMs合成QA对往往因其空间和几何计算的固有缺陷而失败。本文提出Exemplar2VQA，一个可扩展的示例驱动视觉问答生成框架，通过多智能体编码快速合成大规模空间QA对。通过为协作代理配备精心设计的几何工具库，Exemplar2VQA通过确定性代码执行绕过了LLMs在空间推理中的缺陷。该框架展现出显著的通用性，能够将多样的静态物体中心空间查询模板无缝扩展为大规模高保真合成数据集。对Qwen2.5-VL进行微调，使用Exemplar2VQA生成的合成室内数据在多个基准测试中显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决复杂3D问答数据稀缺的问题。现有方法依赖手动标注，劳动强度大，且直接利用LLMs合成QA对时常因空间和几何计算能力不足而失败。
核心思路：Exemplar2VQA通过多智能体编码和几何工具库，提供了一种高效的合成方式，利用确定性代码执行来绕过LLMs在空间推理中的缺陷，从而快速生成高质量的空间问答对。
技术框架：该框架包括多个协作代理，每个代理配备特定的几何工具，能够处理不同的空间查询模板。整体流程从输入示例模板开始，经过多智能体协作生成合成数据，最终输出高保真的QA对。
关键创新：Exemplar2VQA的核心创新在于其示例驱动的生成机制和多智能体协作的设计，使得合成过程更加高效和灵活，显著提升了生成数据的质量和数量。
关键设计：在设计上，框架采用了精心构建的几何工具库，确保代理能够执行复杂的空间计算。此外，针对不同的空间查询模板进行了优化，使得合成的数据集具有更高的多样性和真实性。
🖼️ 关键图片
📊 实验亮点
在实验中，使用Exemplar2VQA生成的合成室内数据对Qwen2.5-VL进行微调，性能在多个基准测试中显著提升，尤其在室内和混合场景中表现出色，验证了其在不同场景下的有效性和鲁棒性。
🎯 应用场景
Exemplar2VQA的研究成果在多个领域具有广泛的应用潜力，包括机器人导航、智能家居、增强现实等。通过提供高质量的合成3D问答数据，该框架能够有效支持多模态大语言模型的训练，促进其在实际场景中的应用与发展。
📄 摘要（原文）
Advancing spatial intelligence in Multimodal Large Language Models (MLLMs) is bottlenecked by the scarcity of complex, scalable 3D question-answer (QA) data. While manual annotation is labor-intensive, directly utilizing LLMs to synthesize these QA pairs often fails due to their inherent deficiencies in spatial and geometric computation. We introduce Exemplar2VQA, a scalable exemplar-driven visual question answering generation framework that rapidly synthesizes large-scale spatial QA pairs in simulated environments via multi-agent coding. By equipping collaborative agents with a meticulously designed library of geometric utilities, Exemplar2VQA bypasses LLMs' spatial reasoning flaws through deterministic code execution. Crucially, the framework exhibits remarkable versatility: taking diverse static object-centric spatial query templates as exemplars, it seamlessly and autonomously scales them into massive, high-fidelity synthetic datasets. Fine-tuning Qwen2.5-VL (3B/7B) exclusively on Exemplar2VQA-generated synthetic indoor data yields significant performance improvements across various diverse benchmarks. Furthermore, its effectiveness is not limited to in-domain indoor datasets but also robustly extends to outdoor and mixed-scene benchmarks. These results establish Exemplar2VQA as a scalable and powerful paradigm for bridging the sim-to-real gap in Embodied AI. Our code is at https://github.com/yingjiayu12/Exemplar2VQA