CityRiSE: Reasoning Urban Socio-Economic Status in Vision-Language Models via Reinforcement Learning

📄 arXiv: 2510.22282v1 📥 PDF

作者: Tianhui Liu, Hetian Pang, Xin Zhang, Jie Feng, Yong Li, Pan Hui

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-10-25

💡 一句话要点

提出CityRiSE，利用强化学习提升LVLM在城市社会经济地位推理中的准确性和可解释性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 城市社会经济地位 视觉语言模型 强化学习 多模态学习 可解释性 城市规划 街景图像

📋 核心要点

  1. 现有LVLM在从视觉数据中进行准确且可解释的社会经济预测方面存在困难，限制了其应用。
  2. CityRiSE框架通过强化学习引导LVLM关注语义相关的视觉线索，实现结构化和目标导向的推理。
  3. 实验表明，CityRiSE显著优于现有方法，提高了预测精度和泛化能力，尤其是在未见过的城市和指标上。

📝 摘要（中文）

本文提出CityRiSE，一个新颖的框架，旨在通过纯强化学习（RL）提升大型视觉语言模型（LVLM）在城市社会经济地位推理方面的能力。该框架利用精心策划的多模态数据和可验证的奖励设计，引导LVLM关注语义上有意义的视觉线索，从而实现结构化和目标导向的推理，以进行通用的社会经济地位预测。实验结果表明，CityRiSE及其涌现的推理过程显著优于现有基线，提高了预测准确性和跨不同城市环境的泛化能力，尤其是在对未见过的城市和指标进行预测时。这项工作突出了结合RL和LVLM在可解释和通用的城市社会经济感知方面的潜力。

🔬 方法详解

问题定义：论文旨在解决利用大型视觉语言模型（LVLM）进行城市社会经济地位（SES）预测时，模型难以准确且可解释地从视觉数据中提取有效信息的问题。现有方法通常缺乏对视觉线索的有效利用和结构化推理能力，导致预测精度和泛化性不足。

核心思路：论文的核心思路是利用强化学习（RL）训练LVLM，使其能够主动地选择和关注与SES相关的视觉特征。通过精心设计的奖励函数，引导LVLM学习如何从多模态数据中提取有意义的语义信息，并进行结构化的推理，从而提高SES预测的准确性和可解释性。

技术框架：CityRiSE框架主要包含以下几个模块：1) 多模态数据输入模块，包括街景图像、卫星图像等；2) LVLM作为Agent，负责根据当前状态（图像和历史动作）选择下一个要关注的视觉区域；3) 强化学习环境，模拟城市环境，并根据Agent的动作提供奖励；4) 奖励函数，用于评估Agent的动作，并引导其学习有效的推理策略。整个流程通过RL循环迭代，不断优化LVLM的推理能力。

关键创新：CityRiSE的关键创新在于将强化学习引入LVLM，使其能够主动学习如何从视觉数据中进行社会经济地位的推理。与传统的监督学习方法不同，CityRiSE不需要大量的标注数据，而是通过奖励函数引导LVLM学习有效的推理策略。此外，CityRiSE还能够生成可解释的推理过程，帮助理解LVLM的决策过程。

关键设计：奖励函数的设计是CityRiSE的关键。论文设计了一个可验证的奖励函数，该函数基于预测结果与真实SES之间的差异，以及Agent选择的视觉区域的语义相关性。此外，论文还采用了Proximal Policy Optimization (PPO)算法来训练LVLM，并使用Transformer作为LVLM的基础架构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CityRiSE在城市社会经济地位预测任务上取得了显著的性能提升。实验结果表明，CityRiSE在预测准确性和泛化能力方面均优于现有基线方法。尤其是在对未见过的城市和指标进行预测时，CityRiSE的性能提升更为明显。例如，在某个未见过的城市上，CityRiSE的预测准确率比最佳基线提高了10%以上。

🎯 应用场景

该研究成果可应用于城市规划、公共政策制定、社会经济分析等领域。通过准确预测城市不同区域的社会经济地位，可以为政府提供决策支持，例如优化资源分配、改善基础设施建设、促进社会公平等。此外，该技术还可以用于商业领域，例如市场调研、选址分析等。

📄 摘要（原文）

Harnessing publicly available, large-scale web data, such as street view and satellite imagery, urban socio-economic sensing is of paramount importance for achieving global sustainable development goals. With the emergence of Large Vision-Language Models (LVLMs), new opportunities have arisen to solve this task by treating it as a multi-modal perception and understanding problem. However, recent studies reveal that LVLMs still struggle with accurate and interpretable socio-economic predictions from visual data. To address these limitations and maximize the potential of LVLMs, we introduce \textbf{CityRiSE}, a novel framework for \textbf{R}eason\textbf{i}ng urban \textbf{S}ocio-\textbf{E}conomic status in LVLMs through pure reinforcement learning (RL). With carefully curated multi-modal data and verifiable reward design, our approach guides the LVLM to focus on semantically meaningful visual cues, enabling structured and goal-oriented reasoning for generalist socio-economic status prediction. Experiments demonstrate that CityRiSE with emergent reasoning process significantly outperforms existing baselines, improving both prediction accuracy and generalization across diverse urban contexts, particularly for prediction on unseen cities and unseen indicators. This work highlights the promise of combining RL and LVLMs for interpretable and generalist urban socio-economic sensing.