Factorized Tactile Representation and Control for Sim-to-Real Manipulation
作者: Siqi Shang, Bianca Aumann, Tye Brady, Joshua Migdal, Taskin Padir
分类: cs.RO
发布日期: 2026-10-07
备注: 8 pages, 7 figures
💡 一句话要点
提出因子化触觉表示与控制框架以解决仿真到现实的操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 触觉表示 因子化控制 仿真到现实 机器人操作 力跟踪 接触感知
📋 核心要点
- 现有的触觉仿真到现实学习方法在模拟接触与实际传感器响应之间存在显著差距，导致控制效果不佳。
- 论文提出了一种因子化触觉表示与控制框架，通过将接触响应分解为多个因素来提高控制的准确性和可靠性。
- 实验结果显示，该方法在接触定位和力跟踪方面表现优异，尤其在对抗插销插入任务中实现了显著的性能提升。
📝 摘要（中文）
触觉仿真到现实学习必须弥合模拟接触与设备特定传感器响应之间的差距，同时保留控制所需的信息。我们提出了一种因子化触觉表示与控制框架，该框架将法向力和接触区域映射到可从传感器读数中恢复的有效接触响应。该响应分为接触几何、力分布和时间接触变化，并采用特定表示的编码和随机化。触觉门控策略在控制过程中分别保留这些表示，并在所有掩码配置上操作而无需重新训练。通过响应重建、空间对齐、力调节和接触丰富的对抗插销插入等实验评估了该方法，独立评估不同触觉表示的效用和转移可靠性。该方法在未见几何体上的接触定位误差小于1毫米，力跟踪误差为1.69牛顿，并在现实世界对抗插销插入中比未因子化响应提高了35%。
🔬 方法详解
问题定义：本论文旨在解决触觉仿真到现实学习中的接触响应与传感器反馈之间的差距。现有方法往往无法有效捕捉和利用这些信息，导致控制性能不足。
核心思路：我们提出的因子化触觉表示与控制框架通过将接触响应分解为接触几何、力分布和时间变化等多个因素，增强了对不同接触情况的适应能力。这样的设计使得系统能够在不同的掩码配置下保持稳定的性能。
技术框架：该框架主要包括触觉表示的因子化模块、触觉门控策略和控制策略。触觉表示模块负责将传感器数据映射为有效的接触响应，门控策略则确保在控制过程中保持这些表示的独立性。
关键创新：本研究的关键创新在于因子化触觉表示的引入，使得不同的触觉特征可以独立处理，从而提高了系统在复杂任务中的表现。与传统方法相比，这种设计显著提升了对接触变化的适应性。
关键设计：在实现过程中，我们采用了特定的编码和随机化技术来增强触觉表示的鲁棒性，并设计了相应的损失函数以优化接触响应的重建精度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在接触定位方面的误差小于1毫米，力跟踪误差为1.69牛顿，并在现实世界对抗插销插入任务中比未因子化响应提高了35%。这些结果展示了因子化触觉表示在实际应用中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和人机交互等场景。通过提高触觉感知的准确性和可靠性，能够显著提升机器人在复杂环境中的操作能力，推动智能制造和服务机器人技术的发展。
📄 摘要（原文）
Tactile sim-to-real learning must bridge simulated contact and device-specific sensor responses while preserving information needed for control. We propose a factorized tactile representation and control framework that maps normal force and contact patch to an effective contact response recoverable from sensor readings. The response is separated into contact geometry, force distribution, and temporal contact change, with representation-specific encoding and randomization. A Tactile Gated Policy preserves these representations separately through control and operates over all mask configurations without retraining. We evaluate the approach through response reconstruction, spatial alignment, force regulation, and contact-rich adversarial peg insertion in simulation and the real world, enabling the utility and transfer reliability of different tactile representations to be assessed independently. The approach achieves <1 mm contact localization, 1.69 N force-tracking error on unseen geometries, and a 35% improvement in real-world adversarial peg insertion over the unfactorized response, with different tactile representations benefiting different interactions.