TFP: Temporally Conditioned Memory-Fusion Policies for Visuomotor Learning
作者: Yushen Liang, Yue Peng, Baosheng Jin, Tianluo Zhang, Xinyu Zhang, Shuyi Zhou, Zhuoran Chen, Xinqi Liu, Shenji Wan
分类: cs.RO
发布日期: 2026-07-09
备注: Accepted to the SemRob 2026 Workshop at Robotics: Science and Systems (RSS 2026)
💡 一句话要点
提出TFP以解决阶段依赖性操作中的记忆与动态更新问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 记忆融合 动态更新 阶段依赖性操作 机器人操作 多模态学习 智能系统
📋 核心要点
- 现有的VLA策略在阶段依赖性操作中表现不足，无法有效处理视觉相似状态下的不同动作需求。
- TFP通过保持局部任务进展信念并动态更新，增强了策略在稳定和遮挡阶段的表现。
- 实验结果显示，TFP在LIBERO和LIBERO-plus上的成功率分别提升至98.75%和93.77%，在MIKASA ShellGameTouch中成功率达到75.0%。
📝 摘要（中文）
视觉-语言-动作（VLA）策略如$π_{0.5}$和OpenVLA在许多操作任务中表现良好，但通常是反应式的，下一步动作依赖于当前观察、指令和本体状态。在阶段依赖性操作中，视觉相似的状态可能需要不同的动作，取决于潜在任务进展和先前交互结果。为此，本文提出了时间条件记忆融合策略（TFP），该框架通过液态时间常数动态保持局部任务进展信念，并通过自适应调制将更新后的信念直接注入动作解码器。实验结果表明，TFP在LIBERO和LIBERO-plus上的成功率显著提升，且在MIKASA ShellGameTouch诊断中表现优异。
🔬 方法详解
问题定义：本文旨在解决在阶段依赖性操作中，现有VLA策略因缺乏动态记忆更新而导致的性能不足问题。现有方法通常仅依赖当前观察，无法有效应对潜在任务进展的变化。
核心思路：TFP的核心思想是引入时间条件的记忆融合机制，通过动态更新任务进展信念，使得策略能够在不同阶段做出更为准确的决策。这样的设计使得策略不仅能记忆历史信息，还能根据当前状态调整信念。
技术框架：TFP框架包括三个主要模块：局部任务进展信念的维护、液态时间常数动态的实现，以及自适应调制的动作解码器。信念的更新与动作生成过程紧密结合，形成一个闭环系统。
关键创新：TFP的主要创新在于其动态记忆更新机制，通过液态时间常数动态调整信念，显著提高了策略在复杂操作中的适应性。这与传统的静态记忆策略形成鲜明对比。
关键设计：TFP采用了3.3B参数的模型，设计了自适应调制机制以将更新后的信念直接注入动作生成过程。此外，实验中对写增益的变化进行了分析，发现其在操作事件附近的变化显著高于非事件阶段。
🖼️ 关键图片
📊 实验亮点
TFP在LIBERO数据集上的成功率从96.9%提升至98.75%，在LIBERO-plus上从91.4%提升至93.77%。在MIKASA ShellGameTouch诊断中，TFP的成功率达到75.0%。这些结果表明，TFP在处理遮挡和视觉扰动时的有效性显著提升。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能助手和自动化制造等。通过提高VLA策略在复杂环境中的适应能力，TFP能够在实际操作中实现更高的成功率，推动智能系统在动态和不确定环境中的应用。未来，TFP的理念和方法可以扩展到更多的多模态学习任务中。
📄 摘要（原文）
Vision--Language--Action (VLA) policies such as $π_{0.5}$ and OpenVLA perform well on many manipulation tasks, but they are often reactive: the next action is predicted from the current observation, instruction, and proprioceptive state. This assumption breaks down in stage-dependent manipulation, where visually similar states may require different actions depending on latent task progress and previous interaction outcomes. We argue that such tasks require not only memory, but dynamics-aware belief updates: the policy should preserve task progress during stable or occluded phases and revise its belief near contact, release, or subgoal transitions. We introduce Temporally Conditioned Memory-Fusion Policies (TFP), a lightweight memory-action framework for VLA backbones. TFP maintains an episode-local task-progress belief with Liquid Time-Constant dynamics and injects the updated belief directly into the flow-matching action decoder through adaptive modulation. This lets temporally accumulated context shape the generated action chunk, rather than serving only as passive history context. With a 3.3B-parameter model, TFP improves the average success rate from (96.9\%) to (98.75\%) on LIBERO and from (91.4\%) to (93.77\%) on LIBERO-plus. On the memory-focused MIKASA ShellGameTouch diagnostic, TFP achieves success up to (75.0\%). Mechanistic analyses show that write-gain changes near manipulation events are about (6\times) larger than far non-event phases, and hidden-state interventions show that the belief causally modulates generated action chunks. These results suggest that compact, event-sensitive memory dynamics can improve VLA policies under occlusion, visual perturbation, and stage-dependent task structure.