MIM-VLA: Learning Physical Interaction Representations from Gripper Motor Feedback

📄 arXiv: 2610.08425v1 📥 PDF

作者: Jaeyoung Lee, Jiyeon Koo, Taehwa Kim, Yerin Cha, Andrew Jaeyong Choi

分类: cs.RO

发布日期: 2026-10-06

备注: 9 pages, 7 figures. Jaeyoung Lee and Jiyeon Koo contributed equally

💡 一句话要点

提出MIM-VLA以解决视觉-语言-动作中的物理交互表示问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 物理交互 电机反馈 机器人抓取 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作策略未能有效表示物理接触后的响应，导致抓取动作的推断不够准确。
  2. MIM-VLA通过引入电机反馈，将夹持器的状态信息编码为交互标记，增强了对物理交互的理解。
  3. 在13对物体的实验中，MIM-VLA在选择高阻力物体的准确率达到75.0%，显著优于SmolVLA的48.8%。

📝 摘要（中文）

视觉-语言-动作（VLA）策略主要通过视觉观察和机器人状态推断抓取动作，但未能明确表示接触后的物理响应。本文提出MIM-VLA，一种基于电机反馈的架构，将最近的夹持器电流、位置、速度和信号有效性编码为128维的交互标记。一个仅基于电机的运动交互模块（MIM）经过人类审核的接触和交互阶段标签进行预训练，并仅调节SmolVLA的夹持器动作路径，而手臂动作和位置控制接口保持不变。该标记支持MEM选择器VLM，比较候选交互并生成基于证据的选择和解释。我们在三个真实场景中评估MIM-VLA，结果显示其在不同物体的交互阻力比较中表现优异。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作策略在物理交互表示上的不足，特别是缺乏对接触后物理响应的明确建模，导致抓取决策的准确性降低。

核心思路：MIM-VLA通过引入电机反馈，利用夹持器的电流、位置、速度等信息，形成一个128维的交互标记，从而增强对物理交互的理解和决策能力。

技术框架：MIM-VLA的整体架构包括一个运动交互模块（MIM）和一个视觉-语言-动作模型（SmolVLA）。MIM负责处理电机反馈信息，而SmolVLA则保持不变，仅在夹持器动作路径上进行调节。

关键创新：MIM-VLA的主要创新在于将电机反馈信息有效整合进抓取决策过程中，形成了一个新的交互标记，显著提升了物体交互的选择能力。

关键设计：在设计中，MIM模块通过人类审核的标签进行预训练，确保其对接触和交互阶段的准确理解。此外，采用128维的交互标记来表示多种状态信息，提升了模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MIM-VLA在13对物体的交互阻力比较中，成功选择高阻力物体的准确率达75.0%，相比于SmolVLA的48.8%有显著提升，展示了其在物理交互理解上的优势。

🎯 应用场景

MIM-VLA的研究成果在机器人抓取、物体识别和人机交互等领域具有广泛的应用潜力。通过增强对物理交互的理解，该方法可以提高机器人在复杂环境中的操作能力，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-language-action (VLA) policies infer grasp actions primarily from visual observations and robot state, but do not explicitly represent the physical response observed after contact. We present MIM-VLA, a motor-feedback-based architecture that encodes recent gripper current, position, velocity, and signal validity as a 128-dimensional interaction token. A motor-only Motor Interaction Module (MIM) is pretrained with human-reviewed contact and interaction-phase labels and then conditions only the gripper-action pathway of SmolVLA; arm actions and the position-control interface remain unchanged. The same token supports the MEM selector VLM that compares candidate interactions and produces evidence-conditioned selections and explanations. We evaluate MIM-VLA in three real-world settings: comparing the interaction resistance of visually different objects, disambiguating visually similar real and replica objects through active probing, and gently grasping fragile objects, including held-out instances. Across 13 object pairs, MIM-VLA selects the higher-resistance object in 75.0% of trials, compared with 48.8% for the SmolVLA baseline. For the evaluated tasks, the approach uses motor feedback already available from the gripper and does not require an additional tactile array, force-torque sensor, calibrated force estimate, or direct current control.