Urban Region Representation Learning with Attentive Fusion

📄 arXiv: 2312.04606v2 📥 PDF

作者: Fengze Sun, Jianzhong Qi, Yanchuan Chang, Xiaoliang Fan, Shanika Karunasekera, Egemen Tanin

分类: cs.LG, cs.DB

发布日期: 2023-12-07 (更新: 2024-04-26)

💡 一句话要点

提出HAFusion模型，通过注意力融合学习城市区域表征，提升城市规划应用效果。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 城市区域表征学习 注意力机制 特征融合 城市规划 深度学习

📋 核心要点

  1. 现有城市区域表征方法忽略了特征融合的重要性，简单聚合导致信息损失。
  2. HAFusion模型通过DAFusion模块学习区域间和特征间的高阶相关性，提升融合效果。
  3. 实验表明，HAFusion在预测任务中显著优于现有方法，准确率提升高达31%。

📝 摘要（中文）

城市相关数据源的日益增多为学习城市区域表征（即嵌入）带来了新的机遇。这些嵌入描述了城市区域的潜在特征，并能够发现相似的区域，从而支持城市规划应用。现有方法通常使用每种不同的区域特征数据来学习区域的嵌入，然后融合所有学习到的区域嵌入，以生成统一的区域嵌入。然而，这些研究往往忽略了融合过程的重要性。典型的融合方法依赖于简单的聚合，例如求和和连接，从而忽略了融合的区域嵌入之间的相关性。为了解决这个局限性，我们提出了一种名为HAFusion的新模型。我们的模型由一个名为DAFusion的双特征注意力融合模块提供支持，该模块融合来自不同区域特征的嵌入，以学习区域之间以及不同类型的区域特征之间的高阶相关性。DAFusion是通用的——它可以集成到现有模型中以增强其融合过程。此外，受到注意力模块有效融合能力的启发，我们提出了一种混合注意力特征学习模块HALearning，以增强从每种类型的区域特征中学习嵌入的能力。在三个真实世界数据集上的大量实验表明，我们的模型HAFusion在三个不同的预测任务中优于最先进的方法。使用我们学习到的区域嵌入可以持续提高预测准确率，最高可达31%。

🔬 方法详解

问题定义：现有城市区域表征学习方法在融合不同类型区域特征的嵌入时，通常采用简单的聚合方式（如求和、拼接），忽略了不同区域之间以及不同特征类型之间存在的高阶相关性。这种简单融合方式导致信息损失，限制了区域表征的表达能力，进而影响下游任务的性能。

核心思路：论文的核心思路是利用注意力机制来学习不同区域特征嵌入之间的高阶相关性，从而实现更有效的特征融合。通过注意力机制，模型可以自适应地学习不同特征的重要性，并根据其重要性进行加权融合，从而更好地捕捉区域的潜在特征。

技术框架：HAFusion模型主要包含两个核心模块：DAFusion（双特征注意力融合模块）和HALearning（混合注意力特征学习模块）。首先，HALearning模块用于增强从每种类型的区域特征中学习嵌入的能力。然后，DAFusion模块将来自不同区域特征的嵌入进行融合，学习区域之间以及不同类型的区域特征之间的高阶相关性，最终生成统一的区域嵌入。

关键创新：论文的关键创新在于提出了DAFusion模块，该模块利用双重注意力机制，同时关注区域之间的相关性和特征之间的相关性。这种双重注意力机制使得模型能够更全面地理解区域的特征，并进行更有效的特征融合。此外，HALearning模块通过混合注意力机制，增强了单个特征的学习能力。

关键设计：DAFusion模块使用两个注意力层，分别学习区域之间的注意力权重和特征之间的注意力权重。HALearning模块则采用了混合注意力机制，结合了自注意力机制和交叉注意力机制，以增强特征学习能力。具体的损失函数和参数设置在论文中有详细描述，但此处未知。

📊 实验亮点

实验结果表明，HAFusion模型在三个真实世界数据集上，针对三个不同的预测任务，均优于当前最先进的方法。具体而言，使用HAFusion学习到的区域嵌入，预测准确率持续提升，最高可达31%。这证明了HAFusion模型在城市区域表征学习方面的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于城市规划、城市功能区识别、城市交通管理、公共服务优化等领域。通过学习高质量的城市区域表征，可以更好地理解城市结构和功能，为城市管理者提供决策支持，提升城市运行效率和居民生活质量。未来，该方法还可扩展到智慧城市建设的其他方面。

📄 摘要（原文）

An increasing number of related urban data sources have brought forth novel opportunities for learning urban region representations, i.e., embeddings. The embeddings describe latent features of urban regions and enable discovering similar regions for urban planning applications. Existing methods learn an embedding for a region using every different type of region feature data, and subsequently fuse all learned embeddings of a region to generate a unified region embedding. However, these studies often overlook the significance of the fusion process. The typical fusion methods rely on simple aggregation, such as summation and concatenation, thereby disregarding correlations within the fused region embeddings. To address this limitation, we propose a novel model named HAFusion. Our model is powered by a dual-feature attentive fusion module named DAFusion, which fuses embeddings from different region features to learn higher-order correlations between the regions as well as between the different types of region features. DAFusion is generic - it can be integrated into existing models to enhance their fusion process. Further, motivated by the effective fusion capability of an attentive module, we propose a hybrid attentive feature learning module named HALearning to enhance the embedding learning from each individual type of region features. Extensive experiments on three real-world datasets demonstrate that our model HAFusion outperforms state-of-the-art methods across three different prediction tasks. Using our learned region embedding leads to consistent and up to 31% improvements in the prediction accuracy.