Unifying Policy Learning and State Prediction through Spatial Language Modeling
作者: Minye Wu, Zehao Wang, Tinne Tuytelaars
分类: cs.RO, cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出空间语言建模以统一策略学习与状态预测
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 空间语言建模 策略学习 状态预测 自回归Transformer 机器人操作
📋 核心要点
- 现有方法在目标导向操作中缺乏有效的监督，导致动作与状态之间的关系难以学习。
- 本文提出空间语言建模，通过共享词汇和任务特定语法，将动作生成与状态预测统一在一个自回归Transformer中。
- 实验结果表明，该方法在模拟和真实机器人上均表现优异，任务成功率和目标覆盖率显著高于基线方法。
📝 摘要（中文）
学习动作如何改变场景几何形状可以为目标导向的操作提供补充监督。本文提出了空间语言建模，使用离散坐标和语义标记的共享词汇表示场景轮廓、目标、动作目标和未来状态。通过任务特定的语法将这些元素组织成空间序列，使得一个自回归Transformer能够通过共同的下一个标记目标学习动作生成和基于动作的状态预测。我们从头开始训练模型，首先进行随机播放过渡的预训练，然后在专家演示上进行联合动作和状态训练。在预训练期间，记录的动作坐标条件后续状态预测，并从预测损失中排除。在控制过程中，模型仅解码可执行的动作目标，并用新观察到的状态更新其历史。我们在Push-T模拟和真实机器人上评估了该方法，模型在模拟中表现出竞争力，并在任务成功率和目标覆盖率上超过了评估的真实机器人策略基线。训练消融实验表明，联合动作和状态序列的控制得到了改善，随机播放预训练进一步提升了性能。给定提供的动作轨迹，同一模型还可以预测连续的场景状态，捕捉推的几何效应。
🔬 方法详解
问题定义：本文旨在解决目标导向操作中动作与状态之间关系学习的不足，现有方法在此方面的监督不足，导致性能受限。
核心思路：通过引入空间语言建模，使用共享的离散坐标和语义标记，构建一个统一的框架来同时学习动作生成和状态预测，从而提升模型的学习效率和效果。
技术框架：整体架构包括两个主要阶段：首先是随机播放过渡的预训练，随后是基于专家演示的联合动作和状态训练。模型通过自回归方式生成动作，并根据历史状态进行状态预测。
关键创新：最重要的创新在于将动作生成与状态预测通过共同的下一个标记目标进行统一，利用空间语言建模的框架，使得模型能够在同一网络中处理这两项任务。
关键设计：在训练过程中，模型使用记录的动作坐标来条件后续状态预测，并在损失计算中排除这些坐标。此外，模型在控制阶段仅解码可执行的动作目标，确保其历史状态的更新。具体的网络结构和损失函数设计未在摘要中详细说明，需参考原文获取更多信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该模型在Push-T模拟中表现出竞争力，并在真实机器人任务中实现了更高的任务成功率和目标覆盖率，相较于基线方法提升幅度显著，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过有效学习动作与状态之间的关系，能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learning how actions change scene geometry can provide complementary supervision for goal-directed manipulation. We introduce Spatial Language Modeling, which represents scene contours, goals, action targets, and future states with a shared vocabulary of discrete coordinates and semantic tokens. A task-specific grammar organizes these elements into spatial sequences, allowing one autoregressive Transformer to learn action generation and action-conditioned state prediction through a common next-token objective. We train the model from scratch using random-play transition pretraining followed by joint action and state training on expert demonstrations. During pretraining, recorded action coordinates condition subsequent state predictions and are excluded from the prediction loss. During control, the model decodes only executable action targets and updates its history with newly observed states. We evaluate the approach on Push-T in simulation and on a real robot. The model achieves competitive simulation performance and higher task success and target coverage than the evaluated real-robot policy baselines. Training ablations show improved control with joint action and state sequences, with further gains from random-play pretraining. Given supplied action trajectories, the same model also predicts successive scene states, capturing the geometric effects of pushing.