Efficient Implementation of Reinforcement Learning over Homomorphic Encryption
作者: Jihoon Suh, Takashi Tanaka
分类: cs.LG, cs.CR, eess.SY
发布日期: 2025-04-12
备注: 6 pages, 3 figures
期刊: Journal of The Society of Instrument and Control Engineers, vol. 64, no. 4, pp. 223-229, 2025
💡 一句话要点
提出基于同态加密的强化学习高效实现，用于云端隐私保护的控制策略合成。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 同态加密 强化学习 隐私保护 控制策略合成 相对熵正则化 云计算 CKKS加密
📋 核心要点
- 现有强化学习算法中的比较操作（min/max）在同态加密数据上难以执行，阻碍了隐私保护的控制策略合成。
- 针对上述问题，论文聚焦于相对熵正则化的强化学习，利用其无比较操作的特性，简化了加密评估过程。
- 通过数值模拟，验证了加密Z-learning在网格世界环境中的收敛性，证明了该方法在安全云端强化学习中的潜力。
📝 摘要（中文）
本文研究了云端加密控制策略合成。虽然加密控制实现已有研究，但我们关注隐私保护的控制合成这一较少被探索的范式，它涉及更繁重的计算，非常适合云外包。我们将控制策略合成分为基于模型、模拟器驱动和数据驱动的方法，并研究它们在全同态加密（FHE）上的实现，以增强隐私性。标准强化学习算法中的比较操作（min或max）难以在加密数据上执行，这是一个关键挑战。因此，我们专注于相对熵正则化的强化学习（RL）问题，由于其无比较结构，简化了合成算法的加密评估。我们展示了线性可解值迭代、路径积分控制和Z-learning如何在FHE上轻松实现。我们通过使用CKKS加密方案在网格世界环境中加密Z-learning的数值模拟进行了案例研究，显示了在可接受的近似误差下收敛。我们的工作表明了安全高效的基于云的强化学习的潜力。
🔬 方法详解
问题定义：论文旨在解决在云环境中进行隐私保护的控制策略合成问题。现有的强化学习算法，如Q-learning和SARSA，通常包含大量的比较操作（例如，寻找最大Q值），这些操作在同态加密的数据上执行效率极低，甚至不可行。因此，直接将这些算法应用于加密数据会导致巨大的计算开销，使得云端控制策略合成变得不切实际。
核心思路：论文的核心思路是利用相对熵正则化的强化学习算法，这类算法的一个关键特性是不需要显式的比较操作。通过引入相对熵正则化项，可以将原有的强化学习问题转化为一个更容易在同态加密环境下求解的形式。具体来说，相对熵正则化可以使得值函数的更新过程不再依赖于寻找最大值，而是通过求解一个线性方程组来实现。
技术框架：论文的技术框架主要包括以下几个步骤：1）选择合适的相对熵正则化强化学习算法，例如线性可解值迭代、路径积分控制或Z-learning；2）将选定的算法转化为可以在同态加密环境下执行的形式，关键在于消除比较操作；3）使用全同态加密方案（例如CKKS）对状态、动作、奖励等数据进行加密；4）在加密数据上执行强化学习算法，得到加密的控制策略；5）将加密的控制策略返回给用户，用户可以使用私钥解密得到最终的控制策略。
关键创新：论文的关键创新在于将相对熵正则化的强化学习算法与同态加密技术相结合，提出了一种新的隐私保护的控制策略合成方法。与传统的基于比较操作的强化学习算法相比，该方法可以在保证隐私的前提下，显著提高计算效率。此外，论文还针对不同的相对熵正则化强化学习算法，给出了具体的同态加密实现方案。
关键设计：论文的关键设计包括：1）选择CKKS加密方案，因为它支持浮点数运算，适用于强化学习中的值函数和策略的表示；2）针对不同的相对熵正则化强化学习算法，设计了不同的加密计算方案，例如，对于Z-learning，论文提出了一个基于矩阵运算的加密实现方案；3）在实验中，论文仔细调整了相对熵正则化项的系数，以保证算法的收敛性和性能。
🖼️ 关键图片
📊 实验亮点
论文通过数值模拟验证了加密Z-learning在网格世界环境中的收敛性。实验结果表明，即使在加密数据上进行训练，Z-learning算法仍然可以学习到有效的控制策略，并且近似误差在可接受的范围内。这表明该方法具有实际应用潜力，可以在保证隐私的前提下，实现高效的云端强化学习。
🎯 应用场景
该研究成果可应用于需要隐私保护的控制系统中，例如智能电网、自动驾驶、医疗机器人等。在这些场景中，控制策略的训练和执行可能需要在云端进行，但同时需要保护用户的隐私数据。该方法可以使得云服务提供商在不知道用户数据的情况下，为用户提供控制策略合成服务，从而实现隐私保护和高效计算的双重目标。
📄 摘要（原文）
We investigate encrypted control policy synthesis over the cloud. While encrypted control implementations have been studied previously, we focus on the less explored paradigm of privacy-preserving control synthesis, which can involve heavier computations ideal for cloud outsourcing. We classify control policy synthesis into model-based, simulator-driven, and data-driven approaches and examine their implementation over fully homomorphic encryption (FHE) for privacy enhancements. A key challenge arises from comparison operations (min or max) in standard reinforcement learning algorithms, which are difficult to execute over encrypted data. This observation motivates our focus on Relative-Entropy-regularized reinforcement learning (RL) problems, which simplifies encrypted evaluation of synthesis algorithms due to their comparison-free structures. We demonstrate how linearly solvable value iteration, path integral control, and Z-learning can be readily implemented over FHE. We conduct a case study of our approach through numerical simulations of encrypted Z-learning in a grid world environment using the CKKS encryption scheme, showing convergence with acceptable approximation error. Our work suggests the potential for secure and efficient cloud-based reinforcement learning.