Interaction Latents as Actions for Contact-Rich Manipulation
作者: Yuhang Zheng, Yujie Zang, Yuchen Liu, Yupeng Zheng, Zhennan Jiang, Zebin Xing, Shuai Tian, Songen Gu, Jingxiang Guo, Chen Gao, Zhongpu Xia, Shuicheng Yan
分类: cs.RO
发布日期: 2026-10-13
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ILA方法以解决接触丰富的机器人操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 接触丰富操作 机器人策略 动作表示 交互潜变量 离线改进 专家模型 流匹配生成 触觉信号
📋 核心要点
- 现有方法主要将动作表示为运动轨迹，未能有效编码接触动态，导致在复杂操作中的表现不足。
- 本文提出ILA方法，通过可解码的交互潜变量捕捉运动、接触和力的演变，提供共享表示以改进动作生成和评估。
- 实验结果表明，ILA在四个真实任务中成功率提高21.0-36.5个百分点，相较于触觉条件的直接动作基线表现显著提升。
📝 摘要（中文）
接触丰富的操作要求机器人不仅协调移动位置，还需管理接触和力的演变。然而，大多数机器人策略主要将动作表示为运动轨迹，未能在动作表示中明确编码接触动态。本文提出ILA（Interaction Latents as Actions），使用可解码的交互潜变量，联合捕捉运动、接触和力的演变，作为策略动作单元，提供共享表示以支持动作生成、评估和离线改进。通过视觉条件下的联合动作-触觉重建学习这些潜变量，使用流匹配生成目标支持预训练的视觉-语言-动作模型和世界动作模型的后训练，以及从零开始训练流匹配策略。通过学习触觉条件的专家参考模型，利用专家一致性奖励指导成功回合的加权学习，最终在三个策略家族中，ILA在四个真实任务的成功率上平均提高了21.0-36.5个百分点。
🔬 方法详解
问题定义：本文旨在解决接触丰富的机器人操作中，现有方法未能有效编码接触动态的问题。传统方法主要依赖运动轨迹，忽视了接触和力的演变，导致操作效果不佳。
核心思路：提出ILA方法，通过引入可解码的交互潜变量，联合捕捉运动、接触和力的演变，形成策略动作单元。这种设计使得机器人能够更好地理解和执行复杂的接触操作。
技术框架：ILA的整体架构包括视觉条件下的联合动作-触觉重建、流匹配生成目标的训练、以及触觉条件的专家参考模型学习。主要模块包括潜变量生成、动作映射和离线改进。
关键创新：最重要的创新在于将接触演变编码为动作目标，超越了传统的触觉条件方法。这一创新使得机器人在复杂操作中能够更好地适应和调整。
关键设计：在技术细节上，使用时间条件的隐式解码器进行潜变量学习，设计了专家一致性奖励机制，以指导成功回合的学习，同时通过观察兼容的专家参考来修正低奖励预测。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ILA方法在三个策略家族中，成功率在四个真实任务上平均提高了21.0-36.5个百分点，相较于触觉条件的直接动作基线，表现出显著的提升，验证了该方法的有效性和优越性。
🎯 应用场景
该研究在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过改进机器人在复杂接触场景中的表现，能够提升自动化系统的效率和安全性，推动智能机器人在实际环境中的应用。
📄 摘要（原文）
Contact-rich manipulation requires robots to coordinate not only where to move, but also how contact and force should evolve throughout an interaction. Yet most robot policies represent actions primarily as motion trajectories, using tactile signals as inputs or auxiliary prediction targets without explicitly encoding contact dynamics in the action representation. We propose ILA (Interaction Latents as Actions), which uses decodable interaction latents that jointly capture the evolution of motion, contact, and force application as policy action units, providing a shared representation for action generation, evaluation, and offline improvement. We learn these latents through visually conditioned joint action-tactile reconstruction with a time-conditioned implicit decoder. Using them as flow-matching generation targets supports post-training of pretrained vision-language-action models (VLAs) and world action models (WAMs), as well as training flow-matching policies from scratch. A shared decoder maps generated latents to executable actions. For offline improvement, we learn a tactile-conditioned expert reference model from interaction latents encoded from expert demonstrations. The resulting expert-consistency rewards guide weighted learning from successful rollouts, while observation-compatible expert references guide correction of low-reward predictions from failed rollouts. Across three policy families, ILA improves success rates averaged over four real-world tasks by 21.0-36.5 percentage points relative to tactile-conditioned direct-action baselines. Ablations highlight the benefit of encoding contact evolution in action targets beyond tactile conditioning, while the same latent space supports expert-guided offline improvement. Project website: https://mrsecant.github.io/ILA/.