DUDA-Bench: Benchmarking LLM Agents on Multimodal Data-Driven Urban Diagnosis
作者: Yizhi Song, Hang Ni, Weijia Zhang, Hao Liu
分类: cs.AI
发布日期: 2026-10-07
💡 一句话要点
提出DUDA-Bench以解决城市诊断中的数据整合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 城市诊断 多模态数据 代理系统 数据整合 分析能力评估 基准测试 智能城市
📋 核心要点
- 现有城市诊断方法依赖专家的劳动密集型工作流程，限制了可扩展性和重用性。
- DUDA-Bench通过将数据驱动的城市诊断形式化为多阶段代理工作流程，提供了一种新的评估框架。
- 实验结果表明，分析能力在不同阶段之间的协调存在局限，尤其是在适应性规划和证据整合方面。
📝 摘要（中文）
城市诊断整合异构观察以识别城市问题、定位受影响区域并调查影响因素，从而为基于证据的城市规划和管理提供信息。然而，现有方法依赖于劳动密集型、案例特定的专家工作流程，限制了其可扩展性和重用性。因此，本文提出DUDA-Bench，一个分层和互动的基准，形式化数据驱动的城市诊断为多阶段代理工作流程。该基准包含86个原子任务和22个工作流程任务，涵盖四个分析阶段，基于来自12个城市的多模态数据，涉及五种城市问题类型。对七个基础模型和五个代理系统的评估显示，孤立的分析能力与端到端诊断之间存在显著差距，系统效益在不同基础模型间有所不同。
🔬 方法详解
问题定义：本文旨在解决城市诊断中对异构数据的整合与分析的挑战，现有方法的痛点在于其依赖于专家的个案分析，缺乏可扩展性和系统性。
核心思路：DUDA-Bench通过构建一个分层的代理工作流程，将城市诊断过程形式化为多个阶段的任务，旨在提高分析的系统性和效率。
技术框架：DUDA-Bench包含86个原子任务和22个工作流程任务，分为四个分析阶段，利用来自12个城市的多模态数据进行评估。每个阶段都设计了特定的任务，以支持数据的整合与分析。
关键创新：最重要的创新在于将专家的分析工作流程转化为分层的代理任务，提供了一个系统化的评估框架，能够支持端到端的分析能力评估。
关键设计：在设计中，采用了多模态数据输入，设置了不同的损失函数以优化各阶段的任务执行，并通过反馈机制来调整假设和行动，以实现更好的分析效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，七个基础模型在DUDA-Bench上的表现存在显著差距，尤其是在端到端诊断能力方面。系统效益在不同基础模型间的变化，强调了分析能力在不同阶段之间的协调性问题。
🎯 应用场景
该研究的潜在应用领域包括城市规划、环境监测和公共管理等。通过提供一个系统化的框架，DUDA-Bench能够帮助城市管理者更有效地识别和解决城市问题，从而提升城市的可持续发展能力。
📄 摘要（原文）
Urban diagnosis integrates heterogeneous observations to identify urban problems, localize affected areas, and investigate contributing factors, informing evidence-based urban planning and management. However, its reliance on labor-intensive, case-specific expert workflows limits scalability and reuse, motivating the exploration of agent-based execution. To evaluate this capability, we introduce DUDA-Bench, a hierarchical and interactive benchmark that formalizes data-driven urban diagnosis as a multi-stage agent workflow. It comprises 86 atomic and 22 workflow tasks spanning four analytical stages, grounded in multimodal data from 12 cities covering five urban problem types. Evaluations of seven backbone models and five agent systems reveal a substantial gap between isolated analytical competence and end-to-end diagnosis, with system benefits varying across backbones. Trajectory analysis shows that unresolved evidence gaps propagate across stages, while successful recovery involves revising assumptions and actions using feedback. These findings highlight limitations in coordinating analytical capabilities across stages, particularly adaptive planning, evidence integration, and verification. More broadly, DUDA-Bench provides a framework for translating expert analytical workflows into hierarchical agent tasks and process-aware evaluation, supporting systematic assessment of end-to-end analytical capabilities.