Physical Time as a Missing Dimension of Robot Policy Memory Dynamics

📄 arXiv: 2610.20524v1 📥 PDF

作者: Yushen Liang, Yue Peng, Baosheng Jin, Tianluo Zhang, Xinyu Zhang, Shuyi Zhou, Zhuoran Chen, Xinqi Liu, Shenji Wan

分类: cs.RO

发布日期: 2026-10-14

💡 一句话要点

提出时间流政策以解决机器人记忆动态中的时间维度缺失问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人策略 记忆动态 物理时间 时间流政策 扩散策略 模仿学习 自主机器人

📋 核心要点

  1. 现有机器人策略记忆未能考虑物理时间的影响，导致相同观察历史在不同时间段内的表现不一致。
  2. 提出时间流政策（TFP），通过学习记忆动态来保留过去事件，并在物理时间的基础上演变记忆状态。
  3. 实验结果显示，TFP在与扩散策略和$π_{0.5}$的比较中，成功率高于传统的递归和状态空间记忆设计。

📝 摘要（中文）

现有的机器人策略记忆通常将观察序列的演变视为相同的物理时间更新，忽视了不同观察历史可能跨越不同时间段的事实。本文提出了时间流政策（TFP），通过学习记忆动态来保留过去事件，并在测量的时间间隔内演变记忆状态。TFP根据观察和先前记忆确定每次转变的内容和时间尺度，经过的时间决定状态的推进程度。实验表明，成功的时机依赖于测量的时间间隔和保留的历史，TFP在控制比较中表现出更高的成功率。

🔬 方法详解

问题定义：论文旨在解决现有机器人策略记忆未能考虑物理时间的影响，导致相同观察历史在不同时间段内的表现不一致的问题。现有方法通常将每次更新视为相同的时间段，忽略了时间的多样性。

核心思路：提出时间流政策（TFP），通过学习记忆动态来保留过去事件，并在测量的时间间隔内演变记忆状态。TFP根据观察和先前记忆确定每次转变的内容和时间尺度，经过的时间决定状态的推进程度。

技术框架：TFP的整体架构包括观察输入、记忆状态和时间间隔三个主要模块。观察和记忆共同决定每次状态转变的内容，而时间间隔则影响状态的推进。

关键创新：TFP的核心创新在于将物理时间作为记忆动态的一个维度，改变了传统记忆的设计思路，使得机器人能够更好地理解和利用时间信息。

关键设计：TFP的训练采用了原生模仿目标，关键参数包括时间间隔的设置和记忆状态的更新机制。网络结构设计上，TFP结合了扩散和流匹配策略，以实现更高效的记忆动态演变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TFP在控制比较中实现了更高的成功率，具体表现为在相同时间间隔下，成功率高于传统的递归和状态空间记忆设计，且在时间间隔的调整上能够系统性地影响行为表现。

🎯 应用场景

该研究在机器人领域具有广泛的应用潜力，尤其是在需要精确时机和记忆的任务中，如物理操作和复杂的环境交互。未来，TFP有望在自主机器人、智能制造和人机协作等领域发挥重要作用。

📄 摘要（原文）

Existing robot policy memories typically evolve with observation sequences, implicitly treating each update as the same amount of physical time. Yet identical observation histories can span different durations and require different actions, exposing physical time as a missing dimension of policy memory. We introduce Temporal Flow Policy (TFP), which learns memory dynamics to retain past events and evolve the memory state over measured time intervals. Observations and prior memory determine the content and time scales of each transition; elapsed time determines how far the state advances. TFP conditions diffusion and flow-matching policies through this memory state and is trained with their native imitation objectives. We evaluate TFP with Diffusion Policy and $π_{0.5}$ through controlled comparisons of memory designs. These experiments show that successful timing depends on both measured intervals and retained history. TFP achieves higher average success than the recurrent and state-space memories we equip with the same intervals and than a variant that feeds the interval to a learned gate. Memory readouts recover the time since an event and motion information after occlusion. Changing the supplied intervals systematically delays or advances actions, linking time inputs to behavior. Real-robot tasks requiring timing or memory, together with LIBERO evaluations, demonstrate benefits in physical and general manipulation. These results suggest viewing robot memory not as stored observation history, but as a state that retains past events and evolves with physical time.