Graph-Based Inference and Topology-Aware Multi-Agent Reinforcement Learning for Large-Scale Railway Network Management
作者: Giacomo Arcieri, Gregory Duthé, Christophe Muller, Konstantinos G. Papakonstantinou, Daniel Straub, Eleni Chatzi
分类: cs.LG
发布日期: 2026-09-24
💡 一句话要点
提出图基推理与拓扑感知多智能体强化学习以解决铁路网络管理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 铁路网络管理 多智能体强化学习 图神经网络 高斯过程 环境建模 零样本迁移学习 决策优化
📋 核心要点
- 现有方法在大规模铁路网络管理中面临计算复杂性和协调机制捕捉不足的问题。
- 论文提出的图基框架结合了层次贝叶斯模型和拓扑感知的多智能体强化学习，以优化维护决策。
- 实验结果显示，该方法在大规模网络上显著优于传统启发式和MARL基线，提升了训练效率和决策性能。
📝 摘要（中文）
现代基础设施资产管理是一个复杂的序列决策问题，涉及长时间规划和系统级交互。尽管深度强化学习在优化维护政策方面展现出潜力，但在大规模网络中应用仍面临挑战。本文提出了一种图基框架，结合准确的环境建模与可扩展的决策支持。首先，利用层次贝叶斯模型和高斯过程图核，从瑞士联邦铁路提供的真实数据中推断出空间相关的铁路维护规划环境。其次，提出了一种拓扑感知的多智能体强化学习框架，通过集成图神经网络和图变换器来优化网络级政策。实验结果表明，该方法显著优于优化启发式和标准MARL基线，减少了计算训练时间，同时在大规模网络上保持了卓越的性能。
🔬 方法详解
问题定义：本文旨在解决大规模铁路网络管理中的复杂决策问题，现有集中式方法在计算上不可行，而分散式方法难以有效捕捉协调机制。
核心思路：提出一种图基框架，通过层次贝叶斯模型和高斯过程图核，推断出空间相关的网络环境，并结合拓扑感知的多智能体强化学习来优化决策。
技术框架：整体架构包括环境建模模块和决策优化模块。环境建模模块使用高斯过程推断网络状态，决策优化模块则利用图神经网络和图变换器进行策略优化。
关键创新：最重要的创新在于实现了零样本迁移学习，图基智能体仅在小规模网络上训练后，能够在未见的大规模网络上无须重新训练地成功部署。
关键设计：在模型设计中，采用了层次贝叶斯模型来处理空间相关性，损失函数设计考虑了决策的长期收益，同时图神经网络的结构优化了信息传递和策略学习的效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在大规模网络上显著优于优化启发式和标准MARL基线，训练时间减少，同时在性能上保持了领先。具体而言，方法在未见网络上的零样本迁移学习成功率高达XX%，显示出良好的可扩展性和适应性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在铁路、交通和其他基础设施管理领域。通过优化维护决策，可以显著提高资源利用效率，降低运营成本，并提升服务质量。未来，该方法还可扩展至其他复杂网络系统的管理与优化。
📄 摘要（原文）
Modern infrastructure asset management constitutes a complex sequential decision-making problem, characterized by long planning horizons and system-level interactions, such as spatial deterioration correlations and economies of scale. While deep reinforcement learning has shown promise in optimizing maintenance policies, scaling to real-world networks remains challenging. Centralized approaches become computationally intractable in large-scale systems, whereas decentralized approaches often fail to capture essential coordination mechanisms. To address these challenges, we propose a graph-based framework that integrates accurate environment modeling with scalable decision support. First, we employ a hierarchical Bayesian model leveraging a Gaussian Process on Graph kernel to infer a realistic, spatially correlated networked environment of railway maintenance planning from real-world data provided by the Swiss Federal Railways. Second, we introduce a topology-aware Multi-Agent Reinforcement Learning (MARL) framework by integrating graph neural networks and graph Transformers to optimize network-level policies. A central contribution of this work is the demonstration of scalability through zero-shot transfer learning: graph-based agents, trained only on small network portions, are successfully deployed in a zero-shot manner on large-scale unseen networks without any retraining. Numerical results indicate that the proposed method significantly outperforms optimized heuristics and standard MARL baselines, reducing computational training time while maintaining superior performance on large-scale networks.