PSR: Predictive Sensorimotor Representation Learning for Contact-Rich Manipulation

📄 arXiv: 2609.21753v1 📥 PDF

作者: Shengbao Li, Peng Xu, Chao Tang, Hao Wei, Jiaheng Wang, Hong Yin, Jiangtao Chen, Jinxuan Zhu, Zhong Zhou, Mengfan Wang, Tingguang Li

分类: cs.RO

发布日期: 2026-09-18

备注: 7 pages, 5 figures

💡 一句话要点

提出预测传感运动表征学习以解决接触丰富操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 接触丰富操控 预测表征 多模态学习 视觉运动策略 机器人智能

📋 核心要点

  1. 现有方法在接触丰富操控中仅被动依赖力反馈，无法有效预测未来的接触动态，限制了动作的精确性。
  2. 本文提出了预测传感运动表征（PSR）学习框架，通过多模态Transformer学习预测表征，并增强视觉运动策略的动作流。
  3. PSR-VLA在六个真实任务中表现出91.7%的成功率，相较于现有方法提升了30.0至19.2个百分点，验证了其有效性。

📝 摘要（中文）

接触丰富的操控需要策略通过推理接触力、机器人配置和交互历史来生成精确的动作，而现有方法仅被动地依赖力反馈，限制了高精度动作的生成能力。为了解决这一问题，本文提出了预测传感运动表征（PSR）学习框架，该框架从多模态传感运动信号中学习预测表征，并将其整合到视觉运动策略的动作流中。通过在预训练阶段使用多模态Transformer联合预测未来交互动态，所学习的层次结构增强了动作流，使得策略能够在多个深度上利用与接触相关的线索。实验结果表明，PSR-VLA在六个真实世界的接触丰富操控任务中取得了91.7%的整体成功率，显著提升了现有基线的表现。

🔬 方法详解

问题定义：本文旨在解决接触丰富操控中现有方法对力反馈的被动依赖，导致无法有效预测未来接触动态的问题。

核心思路：提出预测传感运动表征（PSR）学习框架，通过学习多模态传感器信号的层次化预测表征，增强策略的动作生成能力。

技术框架：整体架构包括预训练阶段和策略增强阶段。在预训练阶段，使用多模态Transformer联合预测未来的交互动态；在策略增强阶段，将学习到的预测表征整合到动作流中。

关键创新：PSR的核心创新在于通过层次化的预测表征来主动推理接触动态，与现有方法的被动反馈形成鲜明对比，显著提升了操控精度。

关键设计：在模型设计中，采用多模态Transformer结构，设置合适的损失函数以优化预测精度，并通过层次化的表征增强策略的深度感知能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PSR-VLA在六个接触丰富操控任务中取得了91.7%的成功率，相较于基线方法$π_{0.5}$、ForceVLA-$π_{0.5}$和ForceVLA2-$π_{0.5}$分别提升了30.0、22.5和19.2个百分点，验证了PSR在力感知操控中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操控、智能制造和人机交互等领域。通过提高机器人在复杂环境中的操控能力，能够显著提升自动化水平和效率，推动智能系统的进一步发展。

📄 摘要（原文）

Contact-rich manipulation requires policies to generate precise actions by reasoning over contact forces, robot configurations, and interaction histories beyond visual observations. Existing methods passively condition on force feedback rather than actively predicting future contact dynamics, limiting their ability to generate high-precision actions. To address this problem, we introduce Predictive Sensorimotor Representation (PSR) learning, a framework that learns a hierarchy of predictive representations from multimodal sensorimotor signals and integrates them into the action stream of a visuomotor policy. Specifically, during a pretraining stage, a multimodal Transformer is trained to learn a hierarchy of predictive representations by jointly forecasting future interaction dynamics. The learned hierarchy subsequently augments the action stream, enabling the resulting policy to exploit contact-relevant cues at multiple depths. We further instantiate PSR within a Vision-Language-Action (VLA) model, resulting in PSR-VLA, and evaluate it on six real-world contact-rich manipulation tasks. Experimental results show that PSR-VLA achieves 91.7% overall success, improving over $π_{0.5}$, ForceVLA-$π_{0.5}$, and ForceVLA2-$π_{0.5}$ by 30.0, 22.5, and 19.2 percentage points, respectively. These results demonstrate the effectiveness of the proposed PSR for force-aware, contact-rich manipulation. Videos of the tasks and stability tests are available at https://psr-vla.pages.dev/.