When to Intervene? State-Aware Sparse Manipulation in Federated Reinforcement Learning
作者: Shutong Zheng, Sijia Chen
分类: cs.LG
发布日期: 2026-10-08 (更新: 2026-10-09)
备注: 27 pages, 12 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出V-BSA以解决FRL中的干预时机问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 联邦强化学习 拜占庭攻击 稀疏干预 行为引导 攻击效果优化
📋 核心要点
- 现有的联邦强化学习方法在面对拜占庭攻击时，缺乏对干预时机的明确考虑，导致攻击效果不稳定。
- 论文提出了一种新颖的V-BSA方法，通过利用局部策略的不确定性来选择干预状态，从而优化攻击效果。
- 实验结果表明，V-BSA在减少干预次数的同时，显著提升了对抗稳健聚合器的攻击效果，展示了干预时机的重要性。
📝 摘要（中文）
联邦强化学习（FRL）使分布式代理能够协作训练决策策略，但其去中心化的训练过程使得全局策略学习易受拜占庭攻击。现有的中毒攻击主要集中在如何构造恶意更新，而干预时机在序列决策中却往往被忽视。通过控制实验，我们发现改变选定的轨迹状态会显著影响攻击效果，即使恶意更新的构造保持不变。因此，我们将干预时机视为一个独特的攻击维度，并提出了基于生存性约束的行为引导攻击（V-BSA），该方法利用局部策略不确定性选择稀疏干预状态，并应用包络约束的行为引导。在离散动作基准测试中，V-BSA在仅使用少量干预的情况下，显著降低了对抗稳健聚合器和集成防御的效果，同时揭示了任务和聚合依赖的边界。总体而言，我们的结果强调了干预时机作为FRL中序列鲁棒性的一个独特维度。
🔬 方法详解
问题定义：本论文旨在解决联邦强化学习中的干预时机问题，现有方法主要关注恶意更新的构造，而忽视了干预时机对攻击效果的影响。
核心思路：论文提出的V-BSA方法通过分析局部策略的不确定性，选择稀疏的干预状态，从而在干预时机上进行优化，以提高攻击的有效性。
技术框架：V-BSA的整体架构包括状态选择模块、行为引导模块和攻击实施模块。状态选择模块根据局部策略的不确定性选择干预状态，行为引导模块则通过包络约束来引导攻击行为。
关键创新：V-BSA的最大创新在于将干预时机作为攻击的一个独立维度，显著提高了攻击的效率和效果，与传统的密集中毒攻击方法相比，使用更少的干预次数即可实现更大的攻击效果。
关键设计：在V-BSA中，关键参数包括干预状态的选择标准和包络约束的设置，损失函数设计上考虑了攻击效果与干预次数的平衡，以确保在攻击过程中保持高效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，V-BSA在离散动作基准测试中，相较于传统的密集中毒攻击，使用的干预次数减少了约70%，而攻击效果却显著提升，成功降低了对抗稳健聚合器的性能，展示了干预时机的重要性。
🎯 应用场景
该研究的潜在应用领域包括安全性较高的联邦学习系统，尤其是在医疗、金融等对数据隐私要求严格的场景。通过优化干预时机，能够有效提升系统的鲁棒性，防止恶意攻击，从而增强用户信任和系统安全性。
📄 摘要（原文）
Federated reinforcement learning (FRL) enables distributed agents to collaboratively train decision-making policies, but its decentralized training process also exposes global policy learning to Byzantine manipulation. Existing poisoning attacks primarily focus on how to construct malicious updates, while trajectory-level intervention timing remains largely implicit. In sequential decision making, however, where an intervention is applied can alter subsequent trajectories and learning signals. Through controlled experiments, we find that changing the selected trajectory states materially alters attack efficacy even when the malicious-update construction is fixed. We therefore identify when as a distinct attack dimension and introduce the Viability-constrained Behavioral Steering Attack (V-BSA), which uses local policy uncertainty to select sparse intervention states and applies envelope-constrained behavioral steering. Across discrete-action benchmarks, V-BSA achieves substantial degradation against robust aggregators and ensemble defenses with only a fraction of the interventions used by dense poisoning, while revealing task- and aggregation-dependent boundaries. Overall, our results highlight intervention timing as a distinct dimension of sequential robustness in FRL. The code is available at https://github.com/Yodeesy/V-BSA