PolyUMI: Accessible Visual-Tactile-Audio Data Collection for Object Inference and Manipulation
作者: Conor W. Hayes, Rickmer Krohn, Aravind Ramaswami, Anunth Ramaswami, Nils Dengler, Kevin M. Lynch, J. Edward Colgate, Georgia Chalvatzaki, Matthew L. Elwin
分类: cs.RO
发布日期: 2026-09-24
备注: 9 pages, 10 figures, preprint
💡 一句话要点
提出PolyUMI与VisTA以增强机器人对物体操作的感知能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态感知 机器人操作 触觉反馈 音频信号 模仿学习 物体推断 接触控制
📋 核心要点
- 现有的模仿学习系统主要依赖视觉和本体感知，无法有效获取接触信息，限制了机器人的操作能力。
- PolyUMI平台通过无线手持夹具收集视觉、触觉和音频数据，并通过VisTA策略整合这些信息以提升机器人操作的智能性。
- 实验结果显示，触觉和音频信息在物体推断、滑动控制和接触丰富的操作中提供了重要的任务相关信息，VisTA的表现优于现有方法。
📝 摘要（中文）
人类在操作物体时通常依赖视觉、触觉、听觉和本体感知来感知接触并调整动作。然而，现有的模仿学习系统主要通过视觉和本体感知来观察演示，限制了对难以通过视觉推断的接触信息的获取。本文提出了PolyUMI，一个开源平台，用于可扩展的视觉-触觉-音频演示收集和机器人部署。该平台的轻量无线手持夹具能够记录同步的腕部摄像头、光学触觉、接触音频和本体感知数据。我们还引入了VisTA，一个多模态策略，能够整合不同传感器和时间的信息，以预测与接触相关的机器人动作。实验表明，触觉和音频提供了超越视觉的任务相关信息，且VisTA在性能上与现有多模态策略相当或更优。
🔬 方法详解
问题定义：本研究旨在解决现有模仿学习系统在物体操作中对接触信息获取不足的问题。现有方法主要依赖视觉和本体感知，导致机器人在复杂环境中的操作能力受限。
核心思路：提出PolyUMI平台，通过无线手持夹具收集视觉、触觉和音频数据，并在此基础上引入VisTA多模态策略，整合不同传感器的信息以提高机器人对物理交互的感知能力。
技术框架：PolyUMI平台包括手持夹具、同步数据记录模块和机器人端执行器。手持夹具负责收集多模态数据，VisTA策略则在数据处理后进行决策。
关键创新：PolyUMI的创新在于其轻量化和无线设计，使得多模态数据收集变得更加灵活。VisTA策略通过整合多种传感器信息，显著提升了机器人在接触感知方面的能力。
关键设计：在设计中，采用了优化的传感器布局以保持感知几何形状，确保演示收集与策略执行的一致性。损失函数和网络结构经过调整，以适应多模态数据的处理需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，触觉和音频信息在任务执行中提供了超越视觉的额外信息，VisTA在物体推断、滑动控制和接触丰富的操作中表现出色，性能与现有多模态策略相比具有竞争力或更优，展示了显著的提升幅度。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过增强机器人对物理交互的感知能力，PolyUMI和VisTA能够提升机器人在复杂环境中的操作灵活性和智能化水平，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Humans typically rely on vision, touch, hearing, and proprioception to perceive contact and adapt their actions during manipulation. Providing robots with comparable responsiveness therefore requires hardware that can retain and use these complementary sensory signals. Most imitation-learning systems, however, observe demonstrations primarily through vision and proprioception, limiting access to contact information that is difficult to infer visually. We present PolyUMI, an open-source platform for scalable visual--tactile--audio demonstration collection and robot deployment. Its lightweight, wireless handheld gripper records synchronized wrist-camera, optical tactile, contact-audio, and proprioceptive observations without requiring a tethered workstation. The same sensing finger can be transferred to the robot end effector, preserving the sensing geometry between demonstration collection and policy execution. To effectively use these heterogeneous observations, we further introduce VisTA, a token-level multimodal policy that integrates information across sensors and time to predict contact-aware robot actions. Experiments spanning object inference, slip control, and contact-rich manipulation show that touch and audio reveal task-relevant information beyond vision and that VisTA is competitive with or outperforms existing multimodal policies. Together, PolyUMI and VisTA provide an accessible pipeline for collecting multimodal demonstrations and learning policies that perceive physical interaction beyond vision. Project Page: https://polyumi-vista.github.io