TraceFlow: Guiding Frozen Flow-Matching Robot Policies with Success and Failure Traces
作者: Jiaxuan Zhang, Ruizhe Liu, Yu Zhang, Yanchao Yang
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出TraceFlow以优化机器人策略的成功与失败轨迹
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人策略 流匹配 成功与失败轨迹 进度对齐 多任务学习
📋 核心要点
- 现有方法未能有效利用机器人自身的失败回放作为负面证据，限制了策略的优化能力。
- TraceFlow通过构建一个进度对齐的指导场，将成功与失败的轨迹转化为对冻结策略的修正，提升了策略的适应性。
- 实验结果显示，TraceFlow在实际任务中成功率从42%提升至78%，并在模拟任务中实现了显著的性能提升。
📝 摘要（中文）
本文提出了一种名为TraceFlow的方法，旨在通过成功和失败的轨迹指导冻结的流匹配机器人策略。该方法利用从机器人自身的失败回放中提取的终端结果，构建一个进度对齐的指导场，将成功和失败的行动密度转化为对流匹配行动专家的有界修正。实验结果表明，TraceFlow在实际机器人打包任务中显著提高了成功率，且在模拟环境中表现出选择性增益，展示了其在多任务场景中的有效性。
🔬 方法详解
问题定义：本文旨在解决现有机器人策略在面对失败回放时缺乏有效利用的问题。现有方法通常依赖于成功案例，而忽视了失败轨迹的潜在价值。
核心思路：TraceFlow的核心思想是利用机器人自身的失败轨迹，通过构建一个进度对齐的指导场，将成功和失败的行动密度转化为对冻结策略的修正，从而提升策略的表现。
技术框架：TraceFlow的整体架构包括TraceBank模块，该模块存储时间顺序的状态-动作记录，并通过终端标签进行标记。系统从目标任务的训练轨迹开始，逐步吸纳机器人自身的回放。
关键创新：TraceFlow的主要创新在于首次将失败轨迹作为负面证据进行利用，构建了一个新的指导机制，使得冻结策略能够在不更新权重的情况下进行有效的调整。
关键设计：在设计中，TraceFlow使用了一个简单的终端结果标签，且不依赖于其他标签信息。系统的成功与失败比例预测了检索分配的有效性，确保了指导场的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TraceFlow在实际机器人打包任务中成功率从42%提升至78%，在模拟环境中，RoboMemArena Sequence的任务成功率从78.92%提升至91.50%。此外，TraceFlow在多个任务中的表现均有所提升，展现出其强大的适应性和有效性。
🎯 应用场景
TraceFlow的研究成果在机器人操作、自动化生产线及智能物流等领域具有广泛的应用潜力。通过优化机器人策略，该方法能够提升任务完成效率，降低操作错误率，进而推动智能机器人在复杂环境中的应用和普及。
📄 摘要（原文）
A vision-language-action (VLA) policy with a flow-matching action expert generates each action chunk (a short command sequence) by integrating a learned velocity field; once its weights are fixed, the success or failure of an earlier rollout cannot change the chunk generated now. Concurrent test-time methods give a frozen policy such an input from retrieved successes, a learned critic, a verifier, or a dynamics model, but none uses the robot's own failed rollouts as negative evidence with nothing but a terminal outcome bit. We introduce TraceFlow, a progress-aligned guidance field that turns the action densities of retrieved successful and failed rollouts into a bounded correction to a frozen flow-matching action expert, using one terminal outcome bit per rollout and no other label. Its TraceBank stores traces, time-ordered state-action records with a terminal label, starts from the target-task training traces, and later admits the deployed robot's own rollouts. On an ordered real-robot packing task the base completes 21 of 50 trials in order, TraceFlow 39, and one stacking round without any weight update 47, with wrong-sequence episodes falling from 20 to 0. In simulation the gain is selective: with per-suite selected settings, TraceFlow raises RoboMemArena Sequence from 78.92\% to 91.50\% task success and Transferring from 54.41\% to 62.00\% at stacking round 2, leaves the 26-task aggregate unchanged, lowers Counting and Occlusion by 1.12 and 1.42 points, and changes LIBERO-Plus (Long) by +1.27 points (p = 0.0733). Stacking gains are finite, every branch peaking before round ten, and the bank's success-to-failure ratio predicts no retrieval allocation.