Privacy-Preserving Prompted Policy Search for Robotic Control

📄 arXiv: 2609.30554v1 📥 PDF

作者: Ali Irshayyid, Feng Lin, Chong Li, Jun Chen

分类: cs.RO, eess.SY

发布日期: 2026-09-24

备注: 9 pages, 5 figures, 4 tables

💡 一句话要点

提出隐私保护的提示策略搜索以解决机器人控制中的数据泄露问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 策略优化 强化学习 大型语言模型 机器人控制 数据安全 有界历史 奖励组件

📋 核心要点

  1. 现有方法在使用大型语言模型进行策略优化时，需传输原始策略参数，导致数据隐私风险。
  2. 提出PP-ProPS框架，通过客户端侧的秘密变换保护策略参数和奖励信息，确保数据隐私。
  3. PP-ProPS在七个任务中超越了Vanilla ProPS，并在五个任务中优于传统RL方法，如PPO和SAC。

📝 摘要（中文）

大型语言模型（LLMs）最近在强化学习（RL）中作为上下文策略优化器展现了良好的能力，但在实际应用中需要将原始策略参数和奖励历史传输到云端LLM API，导致专有控制策略暴露给第三方服务提供商。为了解决这一问题，本文提出了隐私保护的提示策略搜索（PP-ProPS）框架，该框架在保持策略和环境参数机密的同时，实现了LLM引导的策略优化。PP-ProPS通过在每个API请求中使用客户端侧的秘密变换对策略参数和奖励值进行编码，确保LLM提供者仅观察到编码的策略参数和缩放的奖励信息。此外，PP-ProPS不需要知道或披露真实的最优回报。PP-ProPS在搜索过程中通过提供单独的奖励组件和使用有界历史来改善搜索效率。实验表明，PP-ProPS在多个控制任务中优于传统方法。

🔬 方法详解

问题定义：本文旨在解决在使用大型语言模型进行机器人控制策略优化时，原始策略参数和奖励历史的隐私泄露问题。现有方法需要将这些信息传输到云端，增加了数据被第三方获取的风险。

核心思路：PP-ProPS框架通过在客户端对策略参数和奖励值进行编码，确保在API请求中仅传输加密信息，从而保护用户的控制策略和环境参数的机密性。

技术框架：PP-ProPS的整体架构包括三个主要模块：1) 客户端编码模块，用于对策略参数和奖励进行秘密变换；2) API请求模块，负责将编码后的信息发送给LLM；3) LLM反馈模块，接收LLM的优化建议并进行策略更新。

关键创新：PP-ProPS的最大创新在于不需要知道真实的最优回报，同时提供单独的奖励组件，使得LLM能够获得更丰富的反馈信息。这与传统的策略优化方法有本质区别。

关键设计：在PP-ProPS中，使用了有界历史来限制提示的增长，避免了高维策略搜索中的信息冗余，同时支持开放权重的LLM使用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，PP-ProPS在十个评估任务中有七个任务超越了Vanilla ProPS，并在六个任务中优于传统强化学习方法，如PPO、SAC和TRPO，显示出显著的性能提升，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人控制、智能交通系统和人机交互等。通过保护数据隐私，PP-ProPS能够在不泄露用户策略的情况下，利用大型语言模型的强大能力进行高效的策略优化，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have recently demonstrated promising capabilities as in-context policy optimizers for Reinforcement Learning (RL), enabling policy search driven by both numerical reward signals and natural language reasoning. However, deploying such methods in practice requires transmitting raw policy parameters and rewards history to cloud-based LLM APIs, exposing proprietary control strategies to third-party service providers. To address this issue, this paper introduces Privacy-Preserving Prompted Policy Search (PP-ProPS), a framework that enables LLM-guided policy optimization while keeping policy and environmental parameters confidential. PP-ProPS encodes policy parameters and reward values using secret client-side transformations before they are included in each API request, ensuring that the LLM provider observes only encoded policy parameters and scaled reward information. Furthermore, unlike Vanilla ProPS, the proposed framework does not require the true optimal episodic return to be known or disclosed to the LLM. Beyond protecting the optimization data, PP-ProPS improves the search process in two ways. First, it provides the LLM with individual reward components instead of only a single total return, offering more informative feedback about each candidate policy. Second, it uses a bounded history that prevents the prompt from growing indefinitely, improving search with high-dimensional policies and supporting the use of open-weight LLMs. The proposed PP-ProPS is evaluated on both continuous and discrete control problems spanning Multi-Joint dynamics with Contact (MuJoCo) locomotion, classic control, highway driving, and robotic arm manipulation. Compared to Vanilla ProPS, the proposed PP-ProPS outperforms ProPS in seven of the ten evaluated tasks, and surpasses conventional RL methods including PPO, SAC, and TRPO, in five of the six tasks.