When to Intervene? State-Aware Sparse Manipulation in Federated Reinforcement Learning
作者: Shutong Zheng, Sijia Chen
分类: cs.LG
发布日期: 2026-10-08
备注: 27 pages, 12 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出V-BSA以解决FRL中的干预时机问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 联邦强化学习 拜占庭攻击 行为引导攻击 稀疏干预 策略不确定性 序列决策 系统鲁棒性
📋 核心要点
- 现有的联邦强化学习方法在面对拜占庭攻击时，缺乏对干预时机的明确考虑，导致攻击效果不稳定。
- 本文提出了V-BSA方法，通过利用局部策略的不确定性来选择稀疏的干预状态，从而优化攻击效果。
- 实验结果表明，V-BSA在离散动作基准测试中，使用的干预次数显著少于传统密集中毒攻击，但仍能有效降低系统性能。
📝 摘要（中文）
联邦强化学习（FRL）使分布式代理能够协作训练决策策略，但其去中心化的训练过程使得全局策略学习容易受到拜占庭攻击。现有的中毒攻击主要集中在如何构造恶意更新，而干预时机的选择仍然较为隐含。本文通过控制实验发现，改变选定的轨迹状态会显著影响攻击效果，即使恶意更新的构造保持不变。因此，本文将干预时机作为一个独立的攻击维度，提出了基于生存约束的行为引导攻击（V-BSA），该方法利用局部策略不确定性选择稀疏干预状态，并应用包络约束的行为引导。在离散动作基准测试中，V-BSA在使用的干预次数仅为密集中毒的一小部分的情况下，显著降低了强健聚合器和集成防御的效果，同时揭示了任务和聚合依赖的边界。总体而言，研究结果强调了干预时机作为FRL中序列鲁棒性的一个独特维度。
🔬 方法详解
问题定义：本文旨在解决联邦强化学习中干预时机选择对攻击效果的影响问题。现有方法主要关注恶意更新的构造，而忽视了干预时机的重要性，导致攻击效果不稳定。
核心思路：论文提出的V-BSA方法通过分析局部策略的不确定性，选择合适的稀疏干预状态，从而在干预时机上进行优化，增强攻击的有效性。
技术框架：V-BSA的整体架构包括状态选择模块、干预执行模块和效果评估模块。状态选择模块根据局部策略的不确定性来选择干预状态，干预执行模块负责实施攻击，而效果评估模块则用于评估攻击的成功率和影响。
关键创新：V-BSA的主要创新在于将干预时机作为攻击的独立维度进行研究，强调了在序列决策中干预时机对学习信号和后续轨迹的影响，这与现有方法的侧重点有本质区别。
关键设计：在V-BSA中，关键参数包括干预状态的选择策略和包络约束的设置，损失函数设计考虑了攻击效果与系统鲁棒性的平衡，确保在稀疏干预下仍能实现有效攻击。具体的网络结构和参数设置在实验中进行了详细调优。
🖼️ 关键图片
📊 实验亮点
实验结果显示，V-BSA在离散动作基准测试中，仅使用传统密集中毒攻击的一小部分干预次数，就能显著降低强健聚合器和集成防御的效果，展示了干预时机的重要性。具体而言，V-BSA在多个任务中实现了超过30%的性能下降，表明其在攻击效果上的显著提升。
🎯 应用场景
该研究的潜在应用领域包括安全敏感的联邦学习系统，如金融、医疗和智能交通等领域。在这些场景中，理解干预时机的影响可以帮助设计更鲁棒的防御机制，提升系统的安全性和可靠性。未来，V-BSA方法可能为其他类型的攻击和防御策略提供新的思路。
📄 摘要（原文）
Federated reinforcement learning (FRL) enables distributed agents to collaboratively train decision-making policies, but its decentralized training process also exposes global policy learning to Byzantine manipulation. Existing poisoning attacks primarily focus on how to construct malicious updates, while trajectory-level intervention timing remains largely implicit. In sequential decision making, however, where an intervention is applied can alter subsequent trajectories and learning signals. Through controlled experiments, we find that changing the selected trajectory states materially alters attack efficacy even when the malicious-update construction is fixed. We therefore identify when as a distinct attack dimension and introduce the Viability-constrained Behavioral Steering Attack (V-BSA), which uses local policy uncertainty to select sparse intervention states and applies envelope-constrained behavioral steering. Across discrete-action benchmarks, V-BSA achieves substantial degradation against robust aggregators and ensemble defenses with only a fraction of the interventions used by dense poisoning, while revealing task- and aggregation-dependent boundaries. Overall, our results highlight intervention timing as a distinct dimension of sequential robustness in FRL. The code is available at https://github.com/Yodeesy/V-BSA