MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction
作者: Zhixian Hu, Zhengtong Xu, Sheeraz Athar, Juan Wachs, Yu She
分类: cs.RO
发布日期: 2026-03-10
备注: Submitted to IROS 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
MuxGel：通过空间复用和深度重建实现同步双模态视觉触觉传感
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉触觉融合 机器人操作 深度学习 空间复用 U-Net sim-to-real 触觉传感
📋 核心要点
- 传统视觉触觉传感器依赖不透明涂层进行触觉感知，但牺牲了预接触的视觉信息，限制了机器人操作的精度。
- MuxGel采用空间复用策略，通过棋盘格图案交错排列触觉敏感区和透明窗口，实现视觉和触觉信息的同步获取。
- 通过U-Net重建框架和sim-to-real流程，MuxGel能够从复用信号中恢复高保真视觉和触觉信息，并在抓取任务中展现了优越性能。
📝 摘要（中文）
高保真视觉触觉传感对于精确的机器人操作至关重要。然而，大多数基于视觉的触觉传感器面临一个根本性的权衡：不透明涂层能够实现触觉传感，但会阻挡预接触视觉。为了解决这个问题，我们提出了MuxGel，一种空间复用传感器，它通过单个摄像头同时捕获外部视觉信息和接触引起的触觉信号。通过使用棋盘格涂层图案，MuxGel将触觉敏感区域与用于外部视觉的透明窗口交错排列。这种设计保持了标准的外形尺寸，只需更换凝胶垫即可即插即用地集成到GelSight风格的传感器中。为了从复用输入中恢复全分辨率的视觉和触觉信号，我们开发了一个基于U-Net的重建框架。利用sim-to-real流程，我们的模型能够有效地解耦和恢复高保真触觉和视觉场。对未见物体的实验证明了该框架的泛化性和准确性。此外，我们还展示了MuxGel在抓取任务中的效用，其中双模态反馈有助于预接触对齐和后接触交互。结果表明，MuxGel增强了现有基于视觉的触觉传感器的感知能力，同时保持了与它们的硬件堆栈的兼容性。
🔬 方法详解
问题定义：现有的基于视觉的触觉传感器通常使用不透明的凝胶表面来感知接触力，这使得传感器无法在接触前观察物体，从而限制了机器人操作的精度和灵活性。如何在保持触觉感知能力的同时，获取预接触的视觉信息是一个关键问题。
核心思路：MuxGel的核心思路是采用空间复用的方法，通过在凝胶表面上设计棋盘格图案，将触觉敏感区域和透明区域交错排列。这样，传感器既可以通过触觉敏感区域感知接触力，又可以通过透明区域获取外部视觉信息，从而实现视觉和触觉信息的同步获取。
技术框架：MuxGel的整体框架包括三个主要部分：硬件设计、数据采集和信号重建。硬件设计部分主要涉及棋盘格图案的凝胶表面的制作。数据采集部分使用单个摄像头同时获取视觉和触觉信息。信号重建部分使用基于U-Net的深度学习模型，将复用的视觉和触觉信号分离并重建为高分辨率的视觉和触觉图像。该框架采用sim-to-real的训练方式，以提高模型的泛化能力。
关键创新：MuxGel的关键创新在于其空间复用的硬件设计和基于深度学习的信号重建方法。空间复用设计使得传感器能够同时获取视觉和触觉信息，而无需进行时间上的切换。深度学习重建方法能够有效地分离和恢复复用的信号，从而获得高分辨率的视觉和触觉图像。与传统的视觉触觉传感器相比，MuxGel能够在不牺牲触觉感知能力的前提下，提供预接触的视觉信息。
关键设计：棋盘格图案的大小和比例是关键的设计参数，需要根据具体的应用场景进行调整。U-Net模型的结构和训练参数也需要仔细设计，以保证重建的准确性和效率。Sim-to-real的训练流程需要仔细设计模拟环境和数据增强方法，以提高模型的泛化能力。损失函数的设计也至关重要，需要平衡视觉和触觉信息的重建质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MuxGel能够有效地重建高分辨率的视觉和触觉图像，并在未见物体上表现出良好的泛化能力。在抓取任务中，MuxGel能够利用双模态反馈提高抓取的成功率和精度。与传统的基于视觉的触觉传感器相比，MuxGel能够在提供触觉信息的同时，提供预接触的视觉信息，从而增强了机器人的感知能力。
🎯 应用场景
MuxGel在机器人操作、物体识别、虚拟现实等领域具有广泛的应用前景。它可以用于提高机器人抓取的精度和鲁棒性，实现更智能的人机交互，以及为虚拟现实应用提供更真实的触觉反馈。此外，该技术还可以应用于医疗诊断、工业检测等领域，为相关应用提供更全面的感知能力。
📄 摘要（原文）
High-fidelity visuo-tactile sensing is important for precise robotic manipulation. However, most vision-based tactile sensors face a fundamental trade-off: opaque coatings enable tactile sensing but block pre-contact vision. To address this, we propose MuxGel, a spatially multiplexed sensor that captures both external visual information and contact-induced tactile signals through a single camera. By using a checkerboard coating pattern, MuxGel interleaves tactile-sensitive regions with transparent windows for external vision. This design maintains standard form factors, allowing for plug-and-play integration into GelSight-style sensors by simply replacing the gel pad. To recover full-resolution vision and tactile signals from the multiplexed inputs, we develop a U-Net-based reconstruction framework. Leveraging a sim-to-real pipeline, our model effectively decouples and restores high-fidelity tactile and visual fields simultaneously. Experiments on unseen objects demonstrate the framework's generalization and accuracy. Furthermore, we demonstrate MuxGel's utility in grasping tasks, where dual-modality feedback facilitates both pre-contact alignment and post-contact interaction. Results show that MuxGel enhances the perceptual capabilities of existing vision-based tactile sensors while maintaining compatibility with their hardware stacks. Project webpage: https://zhixianhu.github.io/muxgel/.