FARM: Fundamental Agentic Reward Model For Multi-task Wireless Network Optimization

📄 arXiv: 2610.02947v1 📥 PDF

作者: Feiran You, Changxu Ni, Haozhe Ma, Jun Li, Hongyang Du

分类: eess.SY

发布日期: 2026-10-02

💡 一句话要点

提出FARM以解决多任务无线网络优化中的知识重用问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务学习 无线网络优化 强化学习 奖励模型 知识重用 边缘计算 轨迹决策

📋 核心要点

  1. 现有的多任务和迁移强化学习方法在知识重用方面存在挑战，主要依赖于策略共享，导致可转移知识与任务特定动作映射的耦合。
  2. FARM通过引入代理奖励模型（ARM），将知识重用从策略空间转移到轨迹级决策评估，提供任务条件的奖励先验以指导策略优化。
  3. 在异构多接入边缘计算任务中，FARM在未见的速率-延迟目标上实现了29.8%的增益，显著优于现有的CRA Transfer方法。

📝 摘要（中文）

未来的无线网络需要学习代理能够适应异构的信道条件、流量模式、服务质量（QoS）要求、目标和操作约束。现有的多任务和迁移强化学习方法主要共享或迁移策略，导致可转移知识与任务依赖的动作映射耦合。本文提出了FARM（多任务无线网络优化的基础代理奖励模型），一个奖励空间转移框架，将跨任务知识重用从策略空间转移到轨迹级决策评估。FARM引入了代理奖励模型（ARM），从异构源任务轨迹中学习任务条件的奖励先验，并为任务特定的策略优化提供辅助指导。实验表明，FARM在异构多接入边缘计算（MEC）任务中，相较于单任务SAC在未见的速率-延迟目标上实现了29.8%的平均晚期增益。

🔬 方法详解

问题定义：本文旨在解决多任务无线网络优化中知识重用的挑战。现有方法主要依赖于策略共享，导致可转移知识与任务特定动作映射的耦合，限制了在新任务中的适应性。

核心思路：FARM通过引入代理奖励模型（ARM），将知识重用从策略空间转移到轨迹级决策评估。ARM从异构源任务轨迹中学习任务条件的奖励先验，为任务特定的策略优化提供辅助指导。

技术框架：FARM的整体架构分为两个阶段。在第一阶段，ARM联合建模任务条件、时间轨迹依赖和目标依赖的奖励结构，同时每个源任务保留自己的控制器。在第二阶段，学习到的奖励先验被冻结并用于指导目标特定控制器的适应，无需转移源任务的策略。

关键创新：FARM的主要创新在于将知识重用从策略空间转移到奖励空间，利用轨迹级决策评估来实现跨任务的知识共享。这一方法与传统的策略共享方法本质上不同，能够更有效地适应新任务。

关键设计：FARM的设计包括任务条件的建模、时间依赖的处理以及奖励结构的优化。关键参数设置和损失函数的设计确保了ARM的有效性和鲁棒性，尤其是在引入更长历史依赖时。实验中使用的Mamba和Transformer轨迹编码器支持奖励空间转移，Mamba在处理长历史依赖时表现出更好的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FARM在异构多接入边缘计算任务中，相较于单任务SAC在未见的速率-延迟目标上实现了29.8%的平均晚期增益，而CRA Transfer方法的增益仅为16.1%。在中等OOD的FAR-M案例中，FARM的增益达到了46.2%。

🎯 应用场景

该研究的潜在应用领域包括无线网络优化、智能交通系统和边缘计算等。通过提高多任务学习的适应性，FARM能够在动态和复杂的环境中优化网络性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Future wireless networks require learning agents to adapt across heterogeneous channel conditions, traffic patterns, quality-of-service (QoS) requirements, objectives, and operational constraints. Reusing decision knowledge across such tasks is challenging because conventional multi-task and transfer reinforcement learning methods primarily share or transfer policies, coupling transferable knowledge with task-dependent action mappings. This paper proposes FARM (Fundamental Agentic Reward Model for Multi-task Wireless Network Optimization), a reward-space transfer framework that shifts cross-task knowledge reuse from policy space to trajectory-level decision evaluation. FARM introduces an Agentic Reward Model (ARM) that learns a task-conditioned reward prior from heterogeneous source-task trajectories and provides auxiliary guidance for task-specific policy optimization. In Stage I, ARM jointly models task conditions, temporal trajectory dependencies, and objective-dependent reward structures while each source task retains its own controller. In Stage II, the learned reward prior is frozen and reused to guide the adaptation of a target-specific controller for previously unseen tasks, without transferring source-task policies. Experiments on heterogeneous multi-access edge computing (MEC) tasks show that FARM achieves a mean late-stage gain of 29.8% over Single-task SAC on unseen Rate-Latency targets, compared with 16.1% for CRA Transfer, and reaches a 46.2% gain on the moderate-OOD FAR-M case. Further analysis shows that both Mamba and Transformer trajectory encoders support Reward-Space Transfer, while Mamba provides improved robustness as longer history dependencies are introduced.