Predicted Futures Are Not Enough: Learning Executable Goals for Robot Manipulation

📄 arXiv: 2610.09309v1 📥 PDF

作者: Tzu-Yu Chuang, Ching-Hsiang Chang, Yi-Hsiu Lee, Yi-Ting Chen, Min Sun, YuanFu Yang

分类: cs.RO

发布日期: 2026-10-07

备注: 9 pages, 8 figures, 4 tables. Project page: https://claire0730.github.io/executable-goals/ Code and models: https://github.com/Claire0730/executable-goals

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Entity-Level Goal Readout以解决机器人操控中的目标执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操控 生成世界模型 目标执行 闭环控制 深度学习 物体姿态预测 智能制造

📋 核心要点

  1. 现有的生成世界模型虽然能预测操控场景的发展，但未能直接提供控制所需的紧凑任务变量，导致终端目标准确性不足。
  2. 本文提出了Entity-Level Goal Readout，通过将可执行的终端目标作为3D轨迹世界模型的显式输出，解决了目标执行的问题。
  3. 在五个操控任务中，该方法的平均成功率达到79.69%，并在Franka机械臂上实现了73.33%的零-shot部署成功率，显示出良好的实用性。

📝 摘要（中文）

生成世界模型提供了丰富的操控场景预测，但这些预测并未直接提供控制所需的紧凑任务变量。仅依赖未来预测进行训练时，终端目标的准确性并不是明确的学习目标。本文提出了Entity-Level Goal Readout，这是一种学习的预测到执行接口，使得可执行的终端目标成为3D轨迹世界模型的显式输出。该方法结合了基于观察深度的物体中心姿态预测与平移，生成SE(3)中的紧凑目标。通过共享的Pose-Native Executor，系统能够在不重新运行世界模型的情况下，利用在线物体姿态反馈进行闭环控制。实验结果显示，该方法在五个操控任务中取得了79.69%的平均成功率。

🔬 方法详解

问题定义：本文旨在解决生成世界模型在机器人操控中无法直接提供可执行目标的问题。现有方法仅依赖未来预测，导致终端目标的准确性未被明确学习。

核心思路：提出Entity-Level Goal Readout作为预测到执行的接口，使得可执行的终端目标成为显式输出，结合物体中心姿态预测和深度信息，生成紧凑的目标表示。

技术框架：整体架构包括生成世界模型、Entity-Level Goal Readout和Pose-Native Executor三个主要模块。生成模型负责场景预测，Goal Readout生成目标，Executor则进行闭环控制。

关键创新：最重要的创新在于将可执行目标的学习作为世界模型规划的显式组成部分，而非控制流程中的附加后处理。这种设计使得目标执行更加高效和准确。

关键设计：在设计中，采用了基于观察深度的物体姿态预测，结合了固定目标的在线反馈控制，确保了在执行过程中对目标的实时调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该方法在五个操控任务中实现了79.69%的平均成功率。具体而言，在Franka机械臂上，StackCube任务的成功率为73.33%，在存在干扰物的情况下为66.67%，而在PickPlate任务中，即使目标在训练过程中未见过，成功率仍达75.00%。这些结果表明该方法在实际应用中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在工业机器人、服务机器人和自动化生产线等领域。通过提高机器人在复杂环境中的操控能力，能够显著提升生产效率和安全性。此外，未来可扩展至更复杂的任务和多机器人协作场景，推动智能制造的发展。

📄 摘要（原文）

Generative world models provide rich predictions of how manipulation scenes may evolve toward task objectives, yet those futures do not directly expose the compact task variables required by control. When training supervises future prediction alone, terminal goal accuracy is not an explicit learning objective, even when geometric recovery is available. We present Entity-Level Goal Readout, a learned prediction-to-execution interface that makes the executable terminal goal an explicit output of a 3D trace world model. It combines object-centric pose prediction with translation grounded in observed depth to produce a compact goal in SE(3). A shared Pose-Native Executor consumes this fixed goal with online object-pose feedback for closed-loop control without rerunning the world model. Across five manipulation tasks, the pipeline achieves a mean success rate of 79.69%. Goal diagnostics directly measure terminal goal accuracy, while controlled translation perturbations characterize how execution degrades under goal error. Zero-shot deployment on a Franka arm achieves 73.33% success on nominal StackCube, 66.67% with distractors, and 75.00% on PickPlate with a target unseen during policy training. These results support treating the prediction-to-execution interface as an explicit learned component of world-model planning rather than incidental post-processing in the control pipeline itself. Project page: https://claire0730.github.io/executable-goals/