WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents
作者: Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, Tommi Jaakkola, Yang Zhang, Shiyu Chang
分类: cs.AI
发布日期: 2026-09-30
💡 一句话要点
提出WorldAuditBench以解决3D世界审计中的异常检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D世界审计 多模态智能体 异常检测 视觉推理 行动选择 基准测试 虚拟环境
📋 核心要点
- 现有方法在3D世界审计中面临复杂性挑战，尤其是在有效结合行动与视觉推理方面。
- 本文提出WorldAuditBench基准，包含213个异常任务，旨在评估多模态智能体的异常检测能力。
- 实验结果显示，评估模型的成功率仅为6.6%至42.3%，表明当前方法在异常检测上仍有较大提升空间。
📝 摘要（中文）
随着交互式3D世界在智能行为研究中的广泛应用，开发高效的异常识别管道变得尤为重要。本文提出WorldAuditBench，一个包含213个异常任务的基准，旨在评估多模态智能体在3D环境中的异常检测能力。通过两种审计范式对五个前沿模型进行评估，结果显示成功率在6.6%到42.3%之间，远低于人类表现（83.4%）。该基准为研究多模态智能体如何在交互式3D环境中结合行动与视觉推理提供了测试平台，同时揭示了当前在探索过程中收集和解释证据的能力限制。
🔬 方法详解
问题定义：本文旨在解决在交互式3D环境中识别异常（如漂浮物体、可穿越墙壁等）的具体问题。现有方法在有效结合行动与视觉推理方面存在不足，导致异常检测效果不佳。
核心思路：论文的核心思路是通过引入WorldAuditBench基准，评估多模态智能体在3D世界审计中的表现，探索如何有效结合视觉推理与行动选择。
技术框架：整体架构包括两个主要阶段：首先是基于视觉-语言-行动（VLA）的探索阶段，其次是基于视觉-语言模型（VLM）的异常识别阶段。模型在固定的探索预算下进行评估。
关键创新：最重要的技术创新点在于提出了一个系统化的基准，WorldAuditBench，专门用于评估多模态智能体在3D环境中的异常检测能力，填补了现有研究的空白。
关键设计：在实验中，采用了固定的探索预算和两种审计范式，模型的成功率在6.6%到42.3%之间，使用的损失函数和网络结构经过精心设计，以适应多模态输入和复杂的环境特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，五个前沿模型在WorldAuditBench基准上的成功率仅为6.6%至42.3%，显著低于人类表现（83.4%），这表明当前多模态智能体在异常检测方面仍有较大提升空间，强调了进一步研究的必要性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和智能监控等。通过提高多模态智能体在3D环境中的异常检测能力，可以有效提升这些领域的智能化水平，推动更复杂的交互式系统的发展。
📄 摘要（原文）
As interactive 3D worlds are increasingly used to study intelligent behavior, it becomes important to develop efficient pipelines for identifying anomalies in these simulated environments, such as floating objects, traversable walls, or objects inconsistent with the surrounding scene. Multimodal AI systems, including vision-language models (VLMs) and vision-language-action models (VLAs), have shown potential for automating this task. However, 3D world auditing is complex, requiring the close coupling of two distinct capabilities: action, to navigate the 3D world and search for anomalies systematically and efficiently; and visual reasoning, to understand the environment and identify anomalies from multimodal observations. It remains largely unexplored whether multimodal agents can effectively couple these two capabilities, using visual reasoning to identify potential anomalies while taking actions to validate them. In this paper, we introduce WorldAuditBench, a benchmark for 3D world auditing comprising 213 anomaly tasks across 13 environments built with Unreal Engine 5 and Three.js, spanning five anomaly families. We evaluate five frontier models under a fixed exploration budget using two auditing paradigms: VLA-based exploration followed by VLM-based anomaly identification, and an end-to-end VLM agent in which visual reasoning directly guides action selection. Across the evaluated models and two paradigms, success rates range from 6.6% to 42.3%, substantially below human performance (83.4%). Through the task of world auditing, WorldAuditBench provides a testbed for studying how multimodal agents couple action and visual reasoning in interactive 3D environments, while highlighting current limitations in their ability to gather and interpret evidence during exploration.