Learning long term climate-resilient transport adaptation pathways under direct and indirect flood impacts using reinforcement learning
作者: Miguel Costa, Arthur Vandervoort, Carolin Schmidt, Morten W. Petersen, Martin Drews, Karyn Morrissey, Francisco C. Pereira
分类: cs.LG, cs.AI
发布日期: 2026-01-26
💡 一句话要点
提出基于强化学习的气候适应性交通长期规划方法，应对洪水直接和间接影响。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 气候适应 交通规划 城市基础设施 洪水风险 综合评估模型 长期规划
📋 核心要点
- 现有城市交通系统适应气候变化策略缺乏长期性和对不确定性的有效应对。
- 利用强化学习与综合评估模型结合，学习多十年投资路径，权衡成本与收益。
- 在哥本哈根内城暴雨洪水场景下验证，结果表明该方法优于传统优化基线。
📝 摘要（中文）
气候变化预计将加剧降雨和其他灾害，增加城市交通系统的中断。由于基础设施投资的长期性和连续性、深度不确定性以及复杂的跨部门交互，设计有效的适应策略具有挑战性。我们提出了一个通用决策支持框架，该框架将综合评估模型（IAM）与强化学习（RL）相结合，以学习不确定性下的自适应、多十年投资路径。该框架结合了长期气候预测（例如，IPCC情景路径）与将预测的极端天气驱动因素（例如，降雨）映射到灾害可能性（例如，洪水）的模型，并将灾害传播到城市基础设施影响（例如，交通中断），并评估服务性能和社会成本的直接和间接后果。嵌入在强化学习循环中，它学习自适应气候适应策略，该策略权衡投资和维护支出与避免的影响。与哥本哈根市政府合作，我们展示了该方法在2024年至2100年期间内城暴雨洪水中的应用。与传统的优化基线（即不作为和随机行动）相比，学习到的策略产生了协调的时空路径并提高了鲁棒性，说明了该框架对其他灾害和城市的可转移性。
🔬 方法详解
问题定义：论文旨在解决城市交通系统在气候变化背景下，如何制定长期、气候适应性强的投资策略问题。现有方法通常难以应对长期规划中的不确定性，无法有效权衡投资成本和避免灾害影响之间的关系，缺乏对直接和间接影响的综合考虑。
核心思路：论文的核心思路是将城市交通系统的气候适应性规划问题建模为一个马尔可夫决策过程（MDP），并使用强化学习算法来寻找最优的投资策略。通过强化学习，模型能够学习在不确定性下进行决策，并根据长期回报来调整投资策略，从而实现气候适应性目标。
技术框架：该框架包含以下主要模块：1) 长期气候预测模块（基于IPCC情景）；2) 极端天气到灾害可能性映射模块；3) 灾害到城市基础设施影响传播模块；4) 直接和间接后果评估模块；5) 强化学习决策模块。这些模块集成在一个循环中，强化学习模块根据其他模块的反馈来学习最优的投资策略。
关键创新：该论文的关键创新在于将强化学习应用于城市交通系统的气候适应性规划，并提出了一个通用的决策支持框架。该框架能够处理长期规划中的不确定性，并综合考虑直接和间接影响，从而制定更有效的气候适应策略。此外，该框架具有可转移性，可以应用于其他灾害和城市。
关键设计：论文使用Q-learning算法作为强化学习的核心算法。状态空间包括当前时间、气候情景、基础设施状态等。动作空间包括不同的投资和维护策略。奖励函数的设计至关重要，它需要平衡投资成本和避免的灾害影响。具体而言，奖励函数通常包含负的投资成本和正的避免损失，并通过权重系数来调整二者之间的重要性。
🖼️ 关键图片
📊 实验亮点
在哥本哈根内城暴雨洪水场景下的实验结果表明，该方法学习到的策略能够产生协调的时空路径，并显著提高了鲁棒性。与不作为和随机行动等传统基线相比，该方法能够更有效地权衡投资成本和避免的灾害影响，从而实现更好的气候适应效果。具体性能数据未知，但定性结果表明优于基线。
🎯 应用场景
该研究成果可应用于城市规划、交通运输、气候变化适应等领域。它可以帮助城市管理者制定更科学、更有效的气候适应性策略，提高城市基础设施的抗灾能力，减少气候变化带来的经济和社会损失。该方法还可推广到其他基础设施领域，如能源、水利等。
📄 摘要（原文）
Climate change is expected to intensify rainfall and other hazards, increasing disruptions in urban transportation systems. Designing effective adaptation strategies is challenging due to the long-term, sequential nature of infrastructure investments, deep uncertainty, and complex cross-sector interactions. We propose a generic decision-support framework that couples an integrated assessment model (IAM) with reinforcement learning (RL) to learn adaptive, multi-decade investment pathways under uncertainty. The framework combines long-term climate projections (e.g., IPCC scenario pathways) with models that map projected extreme-weather drivers (e.g. rain) into hazard likelihoods (e.g. flooding), propagate hazards into urban infrastructure impacts (e.g. transport disruption), and value direct and indirect consequences for service performance and societal costs. Embedded in a reinforcement-learning loop, it learns adaptive climate adaptation policies that trade off investment and maintenance expenditures against avoided impacts. In collaboration with Copenhagen Municipality, we demonstrate the approach on pluvial flooding in the inner city for the horizon of 2024 to 2100. The learned strategies yield coordinated spatial-temporal pathways and improved robustness relative to conventional optimization baselines, namely inaction and random action, illustrating the framework's transferability to other hazards and cities.