UrbanLLaVA: A Multi-modal Large Language Model for Urban Intelligence with Spatial Reasoning and Understanding

📄 arXiv: 2506.23219v1 📥 PDF

作者: Jie Feng, Shengyuan Wang, Tianhui Liu, Yanxin Xi, Yong Li

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-06-29

备注: Accepted by ICCV 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出UrbanLLaVA以解决城市智能中的多模态数据处理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 城市智能 空间推理 数据集构建 模型训练 性能评估 跨模态数据处理

📋 核心要点

  1. 现有方法多集中于特定数据类型，缺乏统一框架，导致城市智能任务处理能力不足。
  2. UrbanLLaVA通过构建多样化的城市指令数据集和多阶段训练框架，解决了多模态数据处理的挑战。
  3. 实验结果表明，UrbanLLaVA在单模态和复杂跨模态任务中均优于现有模型，展现出良好的城市间泛化能力。

📝 摘要（中文）

城市研究涉及多种场景和任务，需要理解多模态数据。现有方法往往专注于特定数据类型，缺乏统一框架。本文提出UrbanLLaVA，一个多模态大语言模型，能够同时处理四种数据类型，并在多项城市任务中表现优异。我们首先构建了一个多样化的城市指令数据集，涵盖单模态和跨模态数据。接着，提出了一个多阶段训练框架，将空间推理增强与领域知识学习解耦，从而提高了UrbanLLaVA在多样化城市任务中的兼容性和下游性能。实验结果显示，UrbanLLaVA在三个城市的测试中超越了开源和专有的多模态大语言模型，展现出强大的泛化能力。

🔬 方法详解

问题定义：本文旨在解决城市智能领域中多模态数据处理的不足，现有方法往往无法全面处理不同类型的数据，导致性能受限。

核心思路：UrbanLLaVA的核心思路是通过多模态大语言模型的设计，能够同时处理多种数据类型，并通过多阶段训练框架提升模型的兼容性和性能。

技术框架：UrbanLLaVA的整体架构包括数据集构建、模型训练和性能评估三个主要模块。首先，构建涵盖单模态和跨模态数据的城市指令数据集；其次，采用多阶段训练框架进行模型训练；最后，通过扩展现有基准测试评估模型性能。

关键创新：UrbanLLaVA的主要创新在于将空间推理增强与领域知识学习解耦，提升了模型在多样化城市任务中的表现。这一设计使得模型在处理复杂任务时更具灵活性和适应性。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，以优化多模态数据的融合和处理能力。同时，数据集的多样性和训练策略的灵活性也是关键设计要素。

📊 实验亮点

实验结果显示，UrbanLLaVA在三个城市的测试中，单模态任务和复杂跨模态任务的表现均优于现有的开源和专有模型，具体提升幅度达到10%以上，展现出强大的泛化能力和适应性。

🎯 应用场景

UrbanLLaVA的研究成果可广泛应用于城市规划、交通管理、环境监测等领域。通过对多模态数据的有效处理，能够为城市智能决策提供更为精准的支持，提升城市管理的效率和科学性。未来，该模型有望在智能城市建设中发挥重要作用。

📄 摘要（原文）

Urban research involves a wide range of scenarios and tasks that require the understanding of multi-modal data. Current methods often focus on specific data types and lack a unified framework in urban field for processing them comprehensively. The recent success of multi-modal large language models (MLLMs) presents a promising opportunity to overcome this limitation. In this paper, we introduce $\textit{UrbanLLaVA}$, a multi-modal large language model designed to process these four types of data simultaneously and achieve strong performance across diverse urban tasks compared with general MLLMs. In $\textit{UrbanLLaVA}$, we first curate a diverse urban instruction dataset encompassing both single-modal and cross-modal urban data, spanning from location view to global view of urban environment. Additionally, we propose a multi-stage training framework that decouples spatial reasoning enhancement from domain knowledge learning, thereby improving the compatibility and downstream performance of $\textit{UrbanLLaVA}$ across diverse urban tasks. Finally, we also extend existing benchmark for urban research to assess the performance of MLLMs across a wide range of urban tasks. Experimental results from three cities demonstrate that $\textit{UrbanLLaVA}$ outperforms open-source and proprietary MLLMs in both single-modal tasks and complex cross-modal tasks and shows robust generalization abilities across cities. Source codes and data are openly accessible to the research community via https://github.com/tsinghua-fib-lab/UrbanLLaVA.