Relative Entropy Regularized Reinforcement Learning for Efficient Encrypted Policy Synthesis

📄 arXiv: 2506.12358v1 📥 PDF

作者: Jihoon Suh, Yeongjun Jang, Kaoru Teranishi, Takashi Tanaka

分类: cs.LG, eess.SY

发布日期: 2025-06-14

备注: 6 pages, 2 figures, Published in IEEE Control Systems Letters, June 2025

期刊: IEEE Control Systems Letters, pp. 1-1, June 2025

DOI: 10.1109/LCSYS.2025.3578573

💡 一句话要点

提出基于相对熵正则化强化学习的加密策略合成方法，实现高效隐私保护。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 强化学习 隐私保护 全同态加密 相对熵正则化 加密策略合成

📋 核心要点

  1. 现有强化学习方法在处理隐私敏感数据时面临挑战，需要保护策略合成过程中的数据隐私。
  2. 论文提出利用相对熵正则化强化学习（RERL）的线性结构，结合全同态加密（FHE）实现隐私保护的策略合成。
  3. 数值模拟验证了该框架在集成FHE进行加密策略合成的有效性，并分析了加密引入误差的影响。

📝 摘要（中文）

本文提出了一种高效的加密策略合成方法，用于开发具有隐私保护特性的基于模型的强化学习。首先，证明了相对熵正则化强化学习（RERL）框架为值迭代提供了一个计算上便利的线性且“无最小值”的结构，从而能够将全同态加密与自举直接且高效地集成到策略合成中。分析了在加密策略合成中，由于量化和自举等加密引起的误差传播时的收敛性和误差界限。通过数值模拟验证了理论分析。结果表明，RERL框架在集成全同态加密以进行加密策略合成方面的有效性。

🔬 方法详解

问题定义：论文旨在解决在模型驱动的强化学习中，如何安全地合成策略，同时保护训练数据和策略的隐私。传统的强化学习方法在处理敏感数据时，容易泄露信息，因此需要一种能够在加密状态下进行策略学习的方法。

核心思路：论文的核心思路是利用相对熵正则化强化学习（RERL）的特殊结构，使其能够与全同态加密（FHE）无缝集成。RERL的值迭代过程具有线性特性，这使得在加密状态下进行计算成为可能，从而保护了数据的隐私。

技术框架：整体框架包括以下几个主要阶段：1) 使用RERL进行策略学习，得到值函数和策略；2) 使用全同态加密对值函数和策略进行加密；3) 在加密状态下进行值迭代，更新策略；4) 对结果进行解密，得到最终的策略。框架的关键在于RERL的线性结构，以及FHE提供的加密计算能力。

关键创新：论文的关键创新在于将RERL与FHE相结合，实现了一种新的隐私保护强化学习方法。RERL的线性结构是实现高效加密计算的基础，而FHE则提供了在加密数据上进行计算的能力。这种结合使得在保护数据隐私的同时，仍然能够进行有效的策略学习。

关键设计：论文的关键设计包括：1) 选择相对熵作为正则化项，以保证值迭代的线性性；2) 使用全同态加密算法，对值函数和策略进行加密；3) 设计了一种加密状态下的值迭代算法，能够在加密数据上进行策略更新；4) 分析了加密引入的量化误差和自举误差对策略性能的影响，并提出了相应的误差控制方法。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过数值模拟验证了RERL框架在集成FHE进行加密策略合成的有效性。实验结果表明，即使在存在加密引入的量化误差和自举误差的情况下，该方法仍然能够学习到有效的策略。此外，论文还分析了误差界限，为实际应用提供了理论指导。

🎯 应用场景

该研究成果可应用于医疗、金融等对数据隐私要求高的领域。例如，在医疗领域，可以使用加密策略合成方法，在保护患者隐私的前提下，学习个性化的治疗方案。在金融领域，可以用于开发安全的交易策略，防止敏感信息泄露。该方法为隐私保护的强化学习应用开辟了新的方向。

📄 摘要（原文）

We propose an efficient encrypted policy synthesis to develop privacy-preserving model-based reinforcement learning. We first demonstrate that the relative-entropy-regularized reinforcement learning framework offers a computationally convenient linear and ``min-free'' structure for value iteration, enabling a direct and efficient integration of fully homomorphic encryption with bootstrapping into policy synthesis. Convergence and error bounds are analyzed as encrypted policy synthesis propagates errors under the presence of encryption-induced errors including quantization and bootstrapping. Theoretical analysis is validated by numerical simulations. Results demonstrate the effectiveness of the RERL framework in integrating FHE for encrypted policy synthesis.