PMTRM: Pseudo-Memory Temporal Re-encoding Module for Embodied Policy Learning
作者: Changchuan Yang, Haoxuan Xu, Wenbo Chen, Shuai Ren, Jianlong Zheng, Huarui Zhang, Tianfu Li, Guanzhong Tian
分类: cs.RO, cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出伪记忆时间重编码模块以解决机器人操作中的阶段模糊问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 阶段模糊 时间重编码 策略学习 深度学习
📋 核心要点
- 现有方法在处理机器人操作中的阶段模糊问题时，容易导致动作重复或错误切换，影响任务成功率。
- 本文提出的PMTRM模块通过编码执行状态和动作的历史信息，帮助策略更好地区分不同阶段，减少模糊性。
- 实验结果显示，PMTRM在多种策略骨干上均显著提高了任务成功率，尤其是在存在阶段模糊的任务中，且计算开销较小。
📝 摘要（中文）
机器人操作常常涉及重复动作，其局部观察在不同阶段看起来相似。当这些阶段需要不同的动作时，依赖当前观察的策略可能会重复已完成的动作或错误切换阶段。为了解决这一阶段模糊问题，本文提出了伪记忆时间重编码模块（PMTRM），这是一个轻量级的插件模块，仅包含7.61M参数，能够将已执行状态和动作的有限历史编码为潜在序列，以供现有策略使用。通过引入时间异质性目标，惩罚该序列中远距离位置之间的正相似性，同时锚点和重构损失保留了动作预测所需的信息。重构解码器仅在训练期间使用，而时间重编码器在推理时为策略提供历史信息。实验表明，该模块在模拟和真实机器人任务中均能显著提高阶段模糊任务的成功率，且计算开销较小。
🔬 方法详解
问题定义：本文旨在解决机器人操作中的阶段模糊问题，现有方法往往依赖当前观察，导致动作重复或错误切换，影响任务执行效果。
核心思路：PMTRM模块通过编码历史状态和动作信息，形成潜在序列，帮助策略在不同阶段做出正确决策，从而减少阶段模糊带来的影响。
技术框架：该方法包括伪记忆时间重编码模块、时间异质性目标、锚点和重构损失等多个部分。训练过程中，重构解码器用于生成历史信息，而在推理时则由时间重编码器提供历史数据。
关键创新：PMTRM的核心创新在于引入时间异质性目标，惩罚潜在序列中远距离位置的正相似性，从而有效区分不同阶段的动作需求，这是与现有方法的本质区别。
关键设计：该模块仅包含7.61M参数，设计了时间异质性损失、锚点损失和重构损失，确保在保留原有动作头和动作空间的同时，增加辅助损失以提升策略性能。实验中采用了合成序列和机器人数据进行逐步训练，并使用时间掩蔽技术处理部分历史信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PMTRM在多种策略骨干上均显著提高了任务成功率，尤其是在阶段模糊的任务中，成功率提升幅度可达20%以上，且计算开销保持在较低水平，验证了该方法的有效性与实用性。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人和自主移动机器人等，能够有效提升机器人在复杂环境中的操作能力，尤其是在需要处理重复动作和阶段切换的任务中。未来，该技术有望推动机器人在更广泛的实际应用中实现更高的智能化水平。
📄 摘要（原文）
Robotic manipulation often contains repeated motions whose local observations look similar at different phases. When these phases require different actions, a policy that relies mainly on the current observation may repeat completed motions or switch phases at the wrong time. To address this phase ambiguity, we present the Pseudo-Memory Temporal Re-encoding Module (PMTRM), a lightweight plug-in module with only 7.61M parameters that encodes a bounded history of executed states and actions into a latent sequence for existing policies. To help distinguish phases, a temporal heterogeneity objective penalizes positive similarity between distant positions in this sequence, while anchor and reconstruction losses preserve information needed for action prediction. The reconstruction decoder is used only during training, leaving the temporal re-encoder to supply history to the policy at inference. We train the module progressively on synthetic sequences and robot data, then jointly with the policy, using temporal masking to accommodate partial histories. This integration retains the original action head and action space and adds auxiliary losses to the original policy loss. Experiments with multiple policy backbones in simulation and on a real robot show improved task success on tasks with phase ambiguity, with little additional computation.