Grounding Generative Verification in 3D Content
作者: Shuanglin Li, Jiaying Lin, Shuquan Ye
分类: cs.CV
发布日期: 2026-10-15
备注: 35 pages, 6 figures. Project page: https://ai-yeslab.github.io/3DVerifier-page/
💡 一句话要点
提出3DVerifierBench以解决3D内容生成中的验证问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D生成 验证机制 多模态学习 任务特定正确性 反馈系统 数据集构建 递归优化
📋 核心要点
- 现有的3D生成系统在任务特定的正确性和验证反馈方面存在显著不足，难以满足复杂的应用需求。
- 论文提出了3DVerifierBench基准，结合多视角观察和验证反馈，帮助系统识别未满足的要求并进行反思和优化。
- 实验结果显示，通过优化候选选择和递归优化，3D生成的事实成功率从26.7%提升至90.0%，显著提高了系统的可靠性。
📝 摘要（中文）
近年来，多模态大型语言模型（MLLMs）和3D生成技术的进步扩展了3D理解和合成的能力。然而，除了视觉逼真度，基于3D证据的任务特定正确性仍然是一个主要挑战。本文提出了3DVerifierBench基准，涵盖10个任务，评估决策、拒绝解释以及对规范和候选项的控制变化的响应。通过人类研究发现，最强模型与人类之间存在21.6个百分点的差距，同时解释意识分析揭示了拒绝可靠性方面的弱点。此外，论文还开发了一个可扩展的管道，结合多视角事实提取、受控3D编辑和本地注释，生成了14,126个带有矛盾解释和关联反事实的训练示例。最后，研究表明，验证能够通过候选选择和递归优化来支持3D生成。
🔬 方法详解
问题定义：本文旨在解决3D内容生成中的验证问题，现有方法在任务特定正确性和反馈机制上存在不足，无法有效识别和解释生成结果中的错误。
核心思路：论文的核心思路是构建一个综合性的验证框架，通过3DVerifierBench基准评估生成系统的决策和反馈能力，促进系统的自我反思和输出优化。
技术框架：整体架构包括三个主要模块：1) 3DVerifierBench基准，涵盖10个任务；2) 多视角事实提取与3D编辑管道；3) 反馈机制用于候选选择和递归优化。
关键创新：最重要的技术创新在于引入了多视角观察和解释意识分析，能够有效区分真实的不一致性与投影依赖的外观差异，提升了验证的可靠性。
关键设计：在参数设置上，采用了多视角数据集进行训练，损失函数设计考虑了生成结果的解释性，网络结构结合了多模态信息处理能力，以支持复杂的3D生成任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用3DVerifierBench基准进行验证，最强模型在候选选择中的事实成功率从26.7%提升至90.0%。此外，通过人类指导的递归优化，所有输入的七个要求均得到满足，相较于并行Oracle@8的三项要求，表现显著提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和建筑设计等，能够为3D内容生成提供更高的可靠性和准确性，推动相关领域的技术进步。未来，该方法可能影响3D生成系统的设计理念，使其更加注重验证和反馈机制。
📄 摘要（原文）
Recent advances in multimodal large language models (MLLMs) and 3D generation have expanded 3D understanding and synthesis. However, beyond visual fidelity, task-specific correctness grounded in 3D evidence remains a major challenge. We argue that building reliable 3D systems requires not only stronger generation and reasoning, but also verification feedback that identifies unmet requirements and explains their violations, allowing systems to reflect on and refine their outputs. Such feedback must integrate multi-view observations and distinguish genuine inconsistencies from projection-dependent appearances. We make three contributions. First, we introduce 3DVerifierBench, a benchmark spanning 10 tasks that evaluates decisions, rejection explanations, and responses to controlled changes in specifications and candidates. A human study reveals a 21.6 percentage-point gap between humans and the strongest tested model, GPT-6 Astra, while explanation-aware analysis exposes weaknesses in rejection reliability. Second, we analyze verification across fine-grained factual categories, exposing errors in values and target binding. We develop a scalable pipeline combining multi-view fact extraction, controlled 3D editing, and native annotations to produce 14,126 training examples with contradiction explanations and linked counterfactuals. Third, we examine how verification could support 3D generation through candidate selection and recursive refinement. In human-labeled sixteen-candidate pools, oracle selection improves complete factual success from 26.7% to 90.0%. In a separate eight-input study, human-guided recursive refinement satisfies all seven requirements for every input, compared with three under parallel Oracle@8. Together, our benchmark, analysis, and data pipeline establish a foundation for models to reflect on 3D content through reliable verification feedback.