ACRO: Actor-Critic Rollout Orchestration
作者: Junhoo Lee, Seungyeon Kim, Baekseung Kim, Minkyu Kim, Suhyun Jeon, Jimyeong Kim, Nojun Kwak
分类: cs.RO
发布日期: 2026-10-14
备注: 18 pages
💡 一句话要点
提出ACRO以优化视觉-语言-动作策略的执行成功率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 演员-评论员 轨迹回撤 机器人操作 多模态决策
📋 核心要点
- 核心问题：现有的视觉-语言-动作策略在执行过程中难以判断何时干预以提高成功率，导致任务完成率低。
- 方法要点：ACRO通过演员-评论员架构，智能决策何时干预并选择合适的重新进入目标，从而优化策略执行。
- 实验或效果：在多个环境中，ACRO在相同的执行预算下显著提高了成功率，且随着预算增加，完成的任务数量也有所增加。
📝 摘要（中文）
执行视觉-语言-动作（VLA）策略时，需要判断何时继续尝试以及何时干预以提高成功率。我们提出了ACRO，一个演员-评论员回滚编排层，负责为固定的VLA做出这些决策。ACRO寻求那些提供更有前景的继续方案、物理上可行且留有足够时间完成任务的干预。通过从策略回滚中学习的评论员评估成功前景，以决定何时干预并选择沿执行轨迹的重新进入目标。轨迹回撤则将已访问路径缩短，以便机器人返回该目标，从新观察点恢复执行。我们在SimplerEnv、RoboCasa和真实机器人操作中评估了ACRO。在相同的物理执行预算下，ACRO分别提高了10.4、7.3和21.7个百分点的成功率，并且随着执行预算的增加，完成了更多任务。这些结果表明，控制策略何时何地恢复执行可以将其现有能力转化为更成功的任务执行。
🔬 方法详解
问题定义：本论文旨在解决在执行视觉-语言-动作（VLA）策略时，如何有效判断何时干预以提高任务成功率的问题。现有方法在这一决策上存在不足，导致任务完成率不高。
核心思路：ACRO的核心思路是通过演员-评论员架构，利用评论员从策略回滚中学习的成功前景评估，智能决策何时进行干预，并选择合适的重新进入目标，从而优化策略的执行过程。
技术框架：ACRO的整体架构包括演员和评论员两个主要模块。演员负责执行VLA策略，而评论员则通过学习历史回滚数据来评估成功率，并决定是否需要干预。轨迹回撤模块则用于缩短已访问路径，以便机器人能够返回到选定的目标位置。
关键创新：ACRO的主要创新在于引入了轨迹回撤机制和基于评论员的干预决策，使得策略的执行更加灵活和高效。这一方法与传统的固定策略执行方式有本质区别，能够动态调整执行路径。
关键设计：在设计上，ACRO使用了特定的损失函数来优化评论员的学习过程，同时在轨迹回撤时考虑了物理可行性和时间限制，确保干预的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在SimplerEnv、RoboCasa和真实机器人操作中，ACRO在相同的物理执行预算下，成功率分别提高了10.4、7.3和21.7个百分点。此外，随着执行预算的增加，ACRO还能够完成更多的任务，显示出其在任务执行中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过优化视觉-语言-动作策略的执行，ACRO能够提高机器人在复杂环境中的操作成功率，进而提升自动化系统的效率和可靠性。未来，ACRO的技术可以扩展到更多的多模态任务和实时决策场景中，具有广泛的实际价值。
📄 摘要（原文）
Executing a vision-language-action (VLA) policy involves deciding when to continue an attempt and when to intervene to improve its chances of success. We introduce ACRO, an Actor--Critic rollout orchestration layer that makes these decisions for a fixed VLA. ACRO seeks interventions that offer a more promising continuation, are physically feasible, and leave sufficient time to complete the task. A Critic learned from policy rollouts estimates success prospects to decide when to intervene and select a re-entry target along the executed trajectory. Trajectory Retraction shortcuts the visited path to return the robot to that target, where the same VLA resumes execution from a fresh observation. We evaluate ACRO with GR00T N1.7 and $π_{0.5}$ across SimplerEnv, RoboCasa, and real-robot manipulation. Under the same physical execution budget, including all return motion, ACRO improves success by 10.4, 7.3, and 21.7 percentage points, respectively. It also completes additional tasks as the execution budget grows. These results show that controlling when and where a policy resumes can turn its existing capabilities into more successful task executions. Project page: https://junhoo.me/acro