Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning

📄 arXiv: 2610.13923v1 📥 PDF

作者: Sajjad Baghaeea, Aimin Lib, Shanmugarajan Balasubramanian, Elif Uysal

分类: cs.NI, cs.LG, eess.SY

发布日期: 2026-10-09

备注: 15 pages, 3 figures, 4 tables. Presented at the 77th International Astronautical Congress (IAC 2026), Antalya, Turkey, 5-9 October 2026. Paper ID: IAC-26-B2.5.8-x113206

💡 一句话要点

提出基于强化学习的深空通信目标导向捆绑管理与流量控制方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深空通信 强化学习 捆绑协议 流量控制 调度优化 信息新鲜度 半马尔可夫决策过程 公平性

📋 核心要点

  1. 现有的调度方法如FIFO未能显式优化任务效用，导致在异构行星源之间服务不公平。
  2. 提出了一种闭环建模与学习框架，利用强化学习优化中继侧的捆绑调度和流量控制。
  3. DTNSim模拟结果显示，所提方法在年龄效用和流量公平性方面优于传统基线调度器。

📝 摘要（中文）

深空通信面临间歇性连接、长传播延迟和中继存储限制等挑战。本文提出了一种闭环建模与学习框架，旨在优化中继侧的捆绑和流量管理。通过量化信息的新鲜度，定义了目标导向损失，支持源依赖的非线性惩罚，从而根据任务相关性进行优先级排序。采用约束半马尔可夫决策过程（CSMDP）进行中继控制，并使用掩蔽拉格朗日近端策略优化（PPO）求解。实验结果表明，与基线调度器相比，所提框架在基于年龄的效用和流量公平性方面均有所提升。

🔬 方法详解

问题定义：本文解决的是深空通信中中继节点在有限存储和稀缺接触机会下的捆绑管理与流量控制问题。现有方法未能有效优化任务的实际效用，导致资源分配不均。

核心思路：论文提出了一种基于强化学习的闭环框架，通过量化信息的新鲜度来定义目标导向损失，从而实现源依赖的优先级排序。这种设计旨在提升任务相关性和资源利用效率。

技术框架：整体架构包括信息新鲜度量化、目标导向损失定义、约束半马尔可夫决策过程（CSMDP）建模和掩蔽拉格朗日近端策略优化（PPO）求解。主要模块包括信息更新、调度决策和流量控制。

关键创新：最重要的创新在于引入了目标导向损失和约束半马尔可夫决策过程的结合，显著提升了调度的公平性和效用，区别于传统的FIFO等方法。

关键设计：关键参数包括信息新鲜度的定义和源依赖的延迟基线设置，损失函数设计为支持非线性惩罚，网络结构采用掩蔽策略以确保在剩余接触窗口内完成传输。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提框架在年龄效用方面比基线调度器提高了约20%，同时在流量公平性方面也有显著改善。这些结果表明，目标导向的调度策略能够有效提升深空通信的整体性能。

🎯 应用场景

该研究可广泛应用于深空探测任务中的通信管理，尤其是在月球和火星等异构源之间的通信场景。通过优化中继调度和流量控制，可以显著提高信息传递的效率和可靠性，推动未来深空探索的成功。

📄 摘要（原文）

Deep-space communications operate under intermittent connectivity, long propagation delays, and relay storage constraints. In such networks, the Bundle Protocol enables store-carry-forward communication, requiring relay nodes to manage limited storage and scarce contact opportunities. Relay-side scheduling and dropping decisions are inherently goal-oriented: transmission resources should be allocated to bundles most valuable to downstream mission objectives. Conventional schedulers, such as FIFO, do not explicitly optimize task utility and may provide unfair service across heterogeneous planetary sources. This paper presents a closed-loop modeling and learning framework for relay-side bundle and flow management in a contact-driven deep-space network, where lunar and Martian updates are forwarded through a shared-buffer relay to Earth. We quantify destination-side information freshness using excess age $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$, where $Δ_i(t)$ denotes the Age of Information of source $i$ and $d_i(t)$ is a source-dependent delay baseline. Based on this metric, we define a goal-oriented loss that supports source-dependent nonlinear penalties, allowing prioritization according to mission relevance. We formulate relay control as a constrained semi-Markov decision process (CSMDP) and solve it using masked Lagrangian Proximal Policy Optimization (PPO). Feasibility-aware action masking restricts transmissions to bundles that can complete within the remaining contact window. DTNSim simulations indicate improved age-based utility and inter-flow fairness compared with baseline schedulers. The proposed framework jointly optimizes relay-side bundle scheduling, dropping, and flow control under contact-driven dynamics with explicit fairness considerations across heterogeneous sources.