Discovering Cyclists' Visual Preferences Through Shared Bike Trajectories and Street View Images Using Inverse Reinforcement Learning

📄 arXiv: 2409.03148v2 📥 PDF

作者: Kezhou Ren, Meihan Jin, Huiming Liu, Yongxi Gong, Yu Liu

分类: cs.LG, cs.HC

发布日期: 2024-09-05 (更新: 2024-10-08)

备注: 39 pages, 16 figures

💡 一句话要点

提出基于逆强化学习的框架，通过共享单车轨迹和街景图像发现骑行者视觉偏好

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 骑行偏好 街景图像 共享单车轨迹 城市规划 视觉环境 最大熵 可解释AI

📋 核心要点

  1. 现有研究难以大规模全面描述骑行过程，且忽略了骑行者偏好的复杂性，限制了对骑行行为的深入理解。
  2. 利用最大熵深度逆强化学习（MEDIRL）和可解释人工智能（XAI），量化并解释骑行者复杂的视觉偏好。
  3. 实验表明，骑行者关注安全性、街道封闭性和骑行舒适性等视觉元素，且这些元素对骑行偏好有复杂的非线性影响。

📝 摘要（中文）

骑行因其健康益处和对城市发展的积极影响而日益普及。为了有效推广骑行，早期研究广泛调查了骑行行为与环境因素之间的关系，特别是骑行者在路线决策时的偏好。然而，由于数据限制，这些研究通常难以大规模地全面描述详细的骑行过程，并且容易忽视骑行者偏好的复杂性。为了解决这些问题，我们提出了一种新颖的框架，旨在通过最大熵深度逆强化学习（MEDIRL）和可解释人工智能（XAI）来量化和解释骑行者复杂的视觉偏好。我们在深圳坂田街道实施，通过整合共享单车轨迹和街景图像，改进了MEDIRL模型，以有效估计骑行奖励函数，这代表了骑行者在路线选择过程中对街道视觉环境的偏好。此外，我们证明了MEDIRL在发现骑行者视觉偏好方面的可行性和可靠性。我们发现，骑行者在做出路线决策时会关注特定的街道视觉元素，可以概括为他们对安全性、街道封闭性和骑行舒适性的关注。进一步的分析揭示了街道视觉元素对骑行者偏好的复杂非线性影响，为街道景观设计提供了经济高效的视角。我们提出的框架促进了对个体骑行行为的理解，并为城市规划者设计优先考虑骑行者偏好的自行车友好型街道景观提供了可操作的见解。

🔬 方法详解

问题定义：现有研究在理解骑行者路线选择偏好时，面临数据规模和偏好复杂性的挑战。传统方法难以利用大规模骑行轨迹数据，并且难以捕捉骑行者对街道视觉环境的细粒度偏好，例如安全性、舒适度等因素。因此，如何有效地利用大规模数据，并准确建模骑行者复杂的视觉偏好，是本文要解决的关键问题。

核心思路：本文的核心思路是利用逆强化学习（IRL）从骑行轨迹数据中反推出骑行者的奖励函数，该奖励函数代表了骑行者对不同街道视觉环境的偏好。通过将街景图像作为环境状态的表征，并结合最大熵原理，可以更准确地估计奖励函数，并捕捉骑行者偏好的不确定性。这样设计的目的是为了克服传统方法在数据规模和偏好复杂性方面的局限性。

技术框架：整体框架包括数据收集、特征提取、模型训练和结果分析四个主要阶段。首先，收集共享单车轨迹数据和对应的街景图像数据。然后，从街景图像中提取视觉特征，例如道路宽度、绿化率、建筑物高度等。接着，使用最大熵深度逆强化学习（MEDIRL）模型，根据骑行轨迹数据和视觉特征，学习骑行者的奖励函数。最后，利用可解释人工智能（XAI）方法，分析奖励函数，理解骑行者对不同视觉元素的偏好。

关键创新：本文最重要的技术创新点在于将最大熵深度逆强化学习（MEDIRL）应用于骑行者视觉偏好建模。与传统的逆强化学习方法相比，MEDIRL能够更好地处理大规模数据，并捕捉骑行者偏好的不确定性。此外，本文还结合了街景图像数据，为骑行者偏好建模提供了更丰富的环境信息。

关键设计：在MEDIRL模型中，奖励函数通常被参数化为一个深度神经网络，其输入是街景图像的视觉特征，输出是骑行者在该状态下的奖励值。损失函数通常采用最大熵损失，鼓励模型学习到具有最大熵的策略。此外，为了提高模型的泛化能力，可以采用数据增强、正则化等技术。

📊 实验亮点

该研究通过在深圳坂田街道的实验，验证了MEDIRL模型在发现骑行者视觉偏好方面的可行性和可靠性。实验结果表明，骑行者在路线选择时会关注安全性、街道封闭性和骑行舒适性等视觉元素，并且这些元素对骑行偏好具有复杂的非线性影响。该研究为街道景观设计提供了经济高效的视角。

🎯 应用场景

该研究成果可应用于城市规划和交通管理领域，帮助城市规划者设计更符合骑行者偏好的自行车友好型街道，提高骑行安全性与舒适性，从而鼓励更多人选择骑行，促进绿色出行。此外，该方法还可推广到其他交通方式的偏好分析，例如行人路线选择、公交线路规划等。

📄 摘要（原文）

Cycling has gained global popularity for its health benefits and positive urban impacts. To effectively promote cycling, early studies have extensively investigated the relationship between cycling behaviors and environmental factors, especially cyclists' preferences when making route decisions. However, these studies often struggle to comprehensively describe detailed cycling procedures at a large scale due to data limitations, and they tend to overlook the complex nature of cyclists' preferences. To address these issues, we propose a novel framework aimed to quantify and interpret cyclists' complicated visual preferences by leveraging maximum entropy deep inverse reinforcement learning(MEDIRL)and explainable artificial intelligence(XAI). Implemented in Bantian Sub-district, Shenzhen, we adapt MEDIRL model for efficient estimation of cycling reward function by integrating dockless-bike-sharing(DBS) trajectory and street view images(SVIs), which serves as a representation of cyclists' preferences for street visual environments during routing. In addition, we demonstrate the feasibility and reliability of MEDIRL in discovering cyclists' visual preferences. We find that cyclists focus on specific street visual elements when making route decisions, which can be summarized as their attention to safety, street enclosure, and cycling comfort. Further analysis reveals the complex nonlinear effects of street visual elements on cyclists' preferences, offering a cost-effective perspective on streetscapes design. Our proposed framework advances the understanding of individual cycling behaviors and provides actionable insights for urban planners to design bicycle-friendly streetscapes that prioritize cyclists' preferences.