Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning

📄 arXiv: 2609.30258v1 📥 PDF

作者: Sudip Bhujel, Shanghao Shi, Ruiquan Huang, Ning Zhang, Yang Xiao

分类: cs.LG

发布日期: 2026-09-24

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出TRACE以解决隐私保护下的轨迹重建问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 隐私保护 具身强化学习 轨迹重建 时间梯度反演 自回归模型 动作恢复 条件互信息 深度学习

📋 核心要点

  1. 现有的具身强化学习方法在隐私保护方面存在不足，时间结构可能导致信息泄漏加剧。
  2. 本文提出TRACE，通过自回归方式从策略梯度中重建私密轨迹，利用时间相关性和动作恢复技术。
  3. 实验结果显示TRACE在重建质量和速度上均优于现有方法，达到了18.8 dB PSNR，且重建速度显著提升。

📝 摘要（中文）

在具身强化学习中，分布式学习通过将原始传感器数据保留在设备上并仅将策略梯度传输到服务器来提供一定程度的隐私。然而，时间结构可能会加剧这种泄漏。本文提出了连续编码的时间重建攻击（TRACE），这是一种自回归的时间梯度反演攻击，能够从每步的策略学习梯度中重建私密观察-行动轨迹序列。该攻击利用了先前单帧方法忽视的两个结构信号：成功的跨时间相关性和从策略头梯度结构中恢复动作的封闭形式。实验表明，TRACE在持有的具身场景中达到了18.8 dB的PSNR，并在每帧重建时仅需3-4.5毫秒，超越了所有重建指标的学习基线，并且运行速度快几个数量级。进一步评估显示TRACE在多种架构和输入下的广泛适用性。

🔬 方法详解

问题定义：本文解决的是在具身强化学习中，如何在保持隐私的同时有效重建观察-行动轨迹的问题。现有方法往往忽视了时间结构的影响，导致信息泄漏风险增加。

核心思路：TRACE的核心思路是利用时间梯度反演技术，通过自回归方式从每步的策略学习梯度中重建私密轨迹。该方法考虑了时间相关性和策略头梯度结构，从而提高了重建的准确性和效率。

技术框架：TRACE的整体架构包括两个主要模块：一是通过条件互信息界定跨时间梯度的相关性，二是利用封闭形式从策略头恢复动作。整个流程是自回归的，逐步重建轨迹。

关键创新：TRACE的主要创新在于引入了时间相关性和封闭形式的动作恢复技术，这与传统的单帧方法有本质区别，显著提升了重建的准确性和速度。

关键设计：在设计中，TRACE采用了小的熵正则化以确保动作恢复的准确性，同时在参数设置上进行了优化，以实现快速的重建速度和高质量的输出。实验中，重建每帧的时间仅为3-4.5毫秒。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TRACE在持有的具身场景中达到了18.8 dB的PSNR，且重建每帧的时间仅为3-4.5毫秒，显著优于所有重建指标的学习基线，并且在速度上快几个数量级，展示了其在重建质量和效率上的卓越表现。

🎯 应用场景

该研究在隐私保护和具身强化学习领域具有广泛的应用潜力，尤其是在需要保护用户数据的场景中，如智能家居、自动驾驶和机器人导航等。TRACE的技术可以帮助开发更安全的学习系统，减少数据泄漏风险，同时保持高效的学习性能。

📄 摘要（原文）

Distributed learning in embodied reinforcement-learning agents offers a degree of privacy by retaining raw sensor data on-device and transmitting only policy gradients to the server. Yet temporal structure can amplify this leakage beyond single-frame attacks. We introduce Temporal Reconstruction Attack on Consecutive Encodings (TRACE), an amortized temporal gradient-inversion attack that autoregressively reconstructs the sequence of private observation-action trajectories from per-step policy-learning gradients. The attack exploits two structural signals ignored by prior single-frame methods: (i) cross-time correlation between successive embodied gradients, which we formalize via a conditional mutual-information bound, and (ii) closed-form action recovery from policy-head gradient structure, which we prove exact when standard entropy regularization is sufficiently small. On held-out embodied scenes, TRACE reaches $18.8$ dB PSNR with near-perfect action recovery at $3$-$4.5$ ms per reconstructed frame, dominating the learning-based baseline across all reconstruction metrics and exceeding optimization attacks while running orders of magnitude faster. Further evaluation demonstrates TRACE's broader applicability across recurrent, residual, and compact transformer victim architectures, multi-modal inputs, and larger discrete action spaces. Defense experiments suggest that protecting temporal gradient streams may require sequence-aware privacy mechanisms.