MoiréTac: A Dual-Mode Visuotactile Sensor for Multidimensional Perception Using Moiré Pattern Amplification
作者: Kit-Wa Sou, Junhao Gong, Shoujie Li, Chuqiao Lyu, Ziwu Song, Shilong Mu, Wenbo Ding
分类: cs.RO, eess.SP
发布日期: 2025-09-16
💡 一句话要点
MoiréTac：利用莫尔条纹放大实现多维感知的双模态视觉触觉传感器
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉触觉传感器 莫尔条纹 六轴力/力矩测量 机器人灵巧操作 端到端学习
📋 核心要点
- 传统视觉触觉传感器依赖稀疏标记阵列，限制了空间分辨率，且缺乏清晰的力-图像分析关系。
- MoiréTac通过重叠微光栅产生莫尔条纹，放大微小形变，实现高分辨率触觉感知，同时保持光学透明。
- 实验表明，该传感器在六轴力/力矩测量中表现出色（R^2 > 0.98），并成功应用于机器人手臂的瓶盖移除任务。
📝 摘要（中文）
本文提出了一种双模态传感器MoiréTac，它通过透明结构内重叠的微光栅生成密集干涉图案。当两个光栅未对准重叠时，会产生莫尔条纹，从而放大微观形变。该设计在保持视觉任务的光学清晰度的同时，生成用于触觉感知的连续莫尔场，从而能够同时进行六轴力/力矩测量、接触定位和视觉感知。我们将莫尔条纹的基于物理的特征（亮度、相位梯度、方向和周期）与深度空间特征相结合，并将这些特征映射到六轴力/力矩测量，通过端到端学习实现可解释的回归。实验结果证明了三种能力：力/力矩测量在测试轴上的R^2 > 0.98；通过几何参数调整灵敏度（三倍增益调整）；以及在莫尔条纹叠加下的物体分类视觉功能。最后，我们将传感器集成到机器人手臂中，用于协调力和力矩控制的瓶盖移除，验证了其在灵巧操作中的潜力。
🔬 方法详解
问题定义：现有视觉触觉传感器通常采用稀疏的标记阵列，导致空间分辨率受限，并且缺乏明确的力到图像的解析关系。这限制了它们在需要高精度触觉反馈的应用中的性能，例如灵巧操作。
核心思路：MoiréTac的核心思路是利用莫尔条纹效应来放大微小的形变。通过在透明结构中叠加两个微光栅，当光栅发生相对位移时，会产生明显的莫尔条纹。这些条纹的变化可以被用来推断施加的力和力矩，同时保持传感器的光学透明性，使其能够同时进行视觉感知。
技术框架：MoiréTac传感器包含一个透明结构，内部集成了两个微光栅。当物体接触传感器表面时，光栅会发生形变，产生莫尔条纹。传感器通过摄像头捕捉莫尔条纹的图像，然后提取莫尔条纹的物理特征（亮度、相位梯度、方向和周期）以及深度空间特征。这些特征被输入到一个端到端学习模型中，该模型将这些特征映射到六轴力/力矩测量值。
关键创新：MoiréTac的关键创新在于利用莫尔条纹效应实现了高分辨率的触觉感知，同时保持了传感器的光学透明性。这使得传感器能够同时进行视觉和触觉感知，从而为机器人操作提供了更丰富的信息。此外，该传感器还具有可调的灵敏度，可以通过调整光栅的几何参数来实现。
关键设计：该论文使用了端到端学习方法，将莫尔条纹的物理特征和深度空间特征直接映射到六轴力/力矩测量值。具体的网络结构和损失函数在论文中没有详细描述，属于未知信息。几何参数（如光栅间距和角度）被用来调整传感器的灵敏度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MoiréTac传感器在六轴力/力矩测量中表现出色，R^2值大于0.98。通过调整几何参数，可以实现三倍的灵敏度增益。此外，该传感器还成功应用于机器人手臂的瓶盖移除任务，验证了其在实际应用中的潜力。该传感器在保持视觉功能的同时，实现了高精度的触觉感知。
🎯 应用场景
MoiréTac传感器具有广泛的应用前景，包括机器人灵巧操作、医疗机器人、虚拟现实和增强现实等领域。它可以为机器人提供更精确的触觉反馈，使其能够执行更复杂的任务，例如装配、抓取和操作精细物体。在医疗领域，它可以用于微创手术和远程医疗。在VR/AR领域，它可以增强用户与虚拟环境的交互体验。
📄 摘要（原文）
Visuotactile sensors typically employ sparse marker arrays that limit spatial resolution and lack clear analytical force-to-image relationships. To solve this problem, we present \textbf{MoiréTac}, a dual-mode sensor that generates dense interference patterns via overlapping micro-gratings within a transparent architecture. When two gratings overlap with misalignment, they create moiré patterns that amplify microscopic deformations. The design preserves optical clarity for vision tasks while producing continuous moiré fields for tactile sensing, enabling simultaneous 6-axis force/torque measurement, contact localization, and visual perception. We combine physics-based features (brightness, phase gradient, orientation, and period) from moiré patterns with deep spatial features. These are mapped to 6-axis force/torque measurements, enabling interpretable regression through end-to-end learning. Experimental results demonstrate three capabilities: force/torque measurement with R^2 > 0.98 across tested axes; sensitivity tuning through geometric parameters (threefold gain adjustment); and vision functionality for object classification despite moiré overlay. Finally, we integrate the sensor into a robotic arm for cap removal with coordinated force and torque control, validating its potential for dexterous manipulation.