Proprioceptive Sketches as Long-Horizon Intent for Generative Action Policies
作者: Fangyuan Wang, Songhao Huang, Haoxiang Sun, Shipeng Lyu, Chengyang He, Anqing Duan, Peng Zhou, David Navarro-Alarcon
分类: cs.RO
发布日期: 2026-10-02
备注: 19 pages. Project page: https://nicehiro.github.io/pam_dp/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Proprioceptive Action Models以解决长时间意图预测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 生成型策略 长时间意图 机器人运动 路径规划 变换器模型 去噪技术 双手任务 动作生成
📋 核心要点
- 现有生成型机器人策略只能处理短期动作，缺乏长时间意图的明确表达，导致任务执行效率低下。
- 本文提出的PAM模型通过生成无时间参数的路径草图和可执行动作片段，解决了长时间意图预测的问题。
- 实验结果表明，PAM在多个仿真和真实任务中显著提高了成功率，验证了其有效性和实用性。
📝 摘要（中文）
生成型机器人策略通常只能预测短期动作片段，缺乏明确的长时间意图。现有方法通过语言计划、子目标图像或视频预测来揭示长时间结构，但这些方法生成成本高且仍需转换为机器人运动。本文提出了Proprioceptive Action Models（PAM），该模型在单个变换器去噪器中联合生成机器人的剩余关节空间路径的紧凑无时间参数草图和可执行的密集动作片段。该草图通过弧长而非时间来参数化路径，捕捉与执行时间无关的几何意图。在仿真中，PAM在Push-T和LIBERO-Long任务上超越了仅基于动作的对比方法；在四个真实的双手任务中，成功率从47.5%提高到75.0%。
🔬 方法详解
问题定义：本文旨在解决生成型机器人策略在长时间意图预测中的不足，现有方法需要将长时间结构转换为机器人运动，效率低且复杂。
核心思路：PAM模型通过生成紧凑的路径草图和可执行的动作片段，避免了复杂的转换过程，且草图通过弧长参数化，捕捉几何意图。
技术框架：PAM的整体架构包括一个变换器去噪器，分为草图生成和动作生成两个主要模块，采用块因果注意力机制和分阶段去噪调度。
关键创新：PAM的关键创新在于将路径草图与动作生成结合在一个模型中，确保动作令牌在采样过程中依赖于逐渐清晰的草图，显著提高了生成的连贯性。
关键设计：模型设计中采用了块因果注意力机制，以维护草图与动作之间的依赖关系，并通过弧长参数化路径，确保生成的动作与几何意图一致。具体的损失函数和网络结构细节在论文中详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PAM在Push-T和LIBERO-Long仿真任务中表现优异，相较于传统仅基于动作的模型，成功率显著提升。在四个真实的双手任务中，成功率从47.5%提升至75.0%，验证了模型的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等场景。通过提高机器人在复杂任务中的成功率，PAM模型能够显著提升机器人在实际应用中的效率和可靠性，推动智能机器人技术的发展。
📄 摘要（原文）
Generative robot policies predict short action chunks but lack explicit long-horizon intent. Recent methods expose longer-horizon structure through language plans, subgoal images, or video forecasts, which are costly to generate and still need to be translated into robot motion. Predicting future robot motions avoids this translation, but a dense, time-indexed trajectory requires numerous parameters to cover the full remaining task, and over a short horizon it largely repeats the action chunk and adds little guidance for action generation. We propose Proprioceptive Action Models (PAM), which jointly generate a compact, timing-free sketch of the robot's remaining joint-space path and a dense executable action chunk within a single transformer denoiser. The sketch parameterizes the path by arc length rather than time, capturing geometric intent invariant to execution timing. Block-causal attention and a staggered denoising schedule maintain directed sketch-to-action dependence, ensuring the action tokens condition on a progressively cleaner sketch throughout sampling. In simulation, PAM improves over its action-only counterparts on Push-T and LIBERO-Long; on four real-world bimanual tasks, it raises success from 47.5% to 75.0%. Project page: https://nicehiro.github.io/pam_dp/