Interaction-Aware Parameter Privacy-Preserving Data Sharing in Coupled Systems via Particle Filter Reinforcement Learning
作者: Haokun Yu, Jingyuan Zhou, Kaidi Yang
分类: eess.SY
发布日期: 2025-05-09
备注: 21 pages, 8 figures, accepted at the 7th Annual Learning for Dynamics and Control (L4DC) Conference, 2025
💡 一句话要点
提出交互感知参数隐私保护数据共享方法，解决耦合系统中的隐私泄露问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 隐私保护 数据共享 强化学习 粒子滤波 耦合系统 互信息 控制性能 混合自主车队
📋 核心要点
- 现有数据共享方法难以在保护数据提供者敏感参数的同时，兼顾系统交互带来的控制性能影响。
- 提出一种交互感知的隐私保护数据共享方法，通过最小化隐私泄露和控制性能损失的组合来生成失真数据。
- 使用粒子滤波强化学习求解贝尔曼方程，降低历史依赖性，有效处理连续状态空间问题，并在混合自主车队场景中验证。
📝 摘要（中文）
本文研究了耦合系统中参数隐私保护的数据共享问题，其中数据提供者与数据使用者共享数据，但希望保护其敏感参数。共享数据不仅影响数据使用者的决策，还通过系统交互影响数据提供者的操作。为了权衡控制性能和隐私，我们提出了一种交互感知的隐私保护数据共享方法。该方法通过最小化（i）互信息（量化敏感参数的隐私泄露）和（ii）失真数据对数据提供者控制性能的影响（考虑利益相关者之间的交互）的组合来生成失真数据。该优化问题被转化为贝尔曼方程，并通过基于粒子滤波强化学习（RL）的方法解决。与现有的基于RL的方法相比，我们的公式显著减少了历史依赖性，并有效地处理了具有连续状态空间的场景。在混合自主车队场景中验证表明，我们的方法有效地保护了人类驾驶车辆（HDV）的敏感驾驶行为参数免受推理攻击，同时对燃油效率的影响可以忽略不计。
🔬 方法详解
问题定义：论文旨在解决耦合系统中数据提供者在与数据使用者共享数据时，如何保护自身敏感参数的隐私问题。现有方法通常忽略了数据共享对系统交互的影响，或者无法有效处理连续状态空间下的隐私保护问题，导致隐私泄露或控制性能下降。
核心思路：论文的核心思路是通过生成带有扰动的失真数据，在数据提供者和使用者之间进行共享，从而隐藏数据提供者的敏感参数。关键在于设计一种优化策略，使得失真数据既能有效保护隐私（降低互信息），又能尽可能地减少对数据提供者控制性能的影响（考虑系统交互）。
技术框架：整体框架包含数据提供者、数据使用者和交互环境三个部分。数据提供者利用粒子滤波强化学习算法，学习一个最优的扰动策略，该策略能够根据当前状态生成合适的失真数据。数据使用者利用接收到的失真数据进行决策，其决策结果会通过交互环境影响数据提供者的控制性能。整个过程的目标是找到一个平衡点，使得隐私泄露和控制性能损失都尽可能小。
关键创新：论文的关键创新在于将隐私保护问题建模为一个贝尔曼方程，并使用粒子滤波强化学习算法进行求解。相比于传统的强化学习方法，粒子滤波能够更有效地处理连续状态空间，并降低对历史数据的依赖性。此外，论文还考虑了系统交互对控制性能的影响，使得隐私保护策略更加实用。
关键设计：论文的关键设计包括：(1) 使用互信息来量化隐私泄露程度；(2) 设计一个综合考虑隐私泄露和控制性能损失的损失函数；(3) 使用粒子滤波强化学习算法来求解贝尔曼方程，其中粒子滤波用于估计状态转移概率，强化学习用于学习最优策略；(4) 针对混合自主车队场景，设计了具体的奖励函数和状态空间。
🖼️ 关键图片
📊 实验亮点
在混合自主车队场景中，该方法成功地保护了人类驾驶车辆的驾驶行为参数，使其免受推理攻击，同时对车队的燃油效率几乎没有影响。实验结果表明，该方法能够在隐私保护和控制性能之间取得良好的平衡，具有实际应用价值。
🎯 应用场景
该研究成果可应用于各种需要数据共享但又涉及隐私保护的耦合系统，例如智能交通、智能电网、工业控制等领域。通过该方法，数据提供者可以在保护自身敏感信息的同时，与其他参与者进行有效的数据共享，从而促进系统的整体优化和协同。
📄 摘要（原文）
This paper addresses the problem of parameter privacy-preserving data sharing in coupled systems, where a data provider shares data with a data user but wants to protect its sensitive parameters. The shared data affects not only the data user's decision-making but also the data provider's operations through system interactions. To trade off control performance and privacy, we propose an interaction-aware privacy-preserving data sharing approach. Our approach generates distorted data by minimizing a combination of (i) mutual information, quantifying privacy leakage of sensitive parameters, and (ii) the impact of distorted data on the data provider's control performance, considering the interactions between stakeholders. The optimization problem is formulated into a Bellman equation and solved by a particle filter reinforcement learning (RL)-based approach. Compared to existing RL-based methods, our formulation significantly reduces history dependency and efficiently handles scenarios with continuous state space. Validated in a mixed-autonomy platoon scenario, our method effectively protects sensitive driving behavior parameters of human-driven vehicles (HDVs) against inference attacks while maintaining negligible impact on fuel efficiency.