TouchTherm: Building Multimodal Digital Twins of Objects for Tactile and Thermal Rendering
作者: Yitao Zhang, Hong Ying, Haoran Guo, Xiaoying Zhou, Guanyu Chen, Chenxi Xiao
分类: cs.RO
发布日期: 2026-10-01
备注: 8 pages, 8 figures. Project webpage: https://anonymous-research1.github.io/
💡 一句话要点
提出TouchTherm框架以构建多模态数字双胞胎解决触觉与热反馈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态重建 触觉渲染 热反馈 机器人仿真 虚拟现实 物理正则化 微观结构 动态热场
📋 核心要点
- 现有方法主要关注物体的几何和视觉特征，忽略了微观表面结构和温度动态，限制了触觉和热交互的真实感。
- TouchTherm框架通过结合结构光扫描和多视角法线图，构建适用于仿真的多模态对象资产，增强触觉和热反馈。
- 在20个物体的实验中，重建的微高程场保留了高频细节，热场的温度预测精度显著提高，展示了TouchTherm的有效性。
📝 摘要（中文）
随着机器人仿真和虚拟现实的发展，物体资产不仅需要捕捉视觉几何，还需涵盖触觉和热交互的物理线索。现有的3D数据集和重建方法主要关注物体规模的几何和视觉外观，忽视了微观表面结构和瞬态温度动态。本文提出TouchTherm框架，从真实物体构建适用于仿真的视觉-触觉-热对象资产。通过结合结构光扫描和多视角法线图，恢复局部微高程场以实现光学触觉渲染，同时捕获同步的多视角红外视频以重建物体的动态热场。实验结果表明，重建的微高程场保留了主要表面结构，热场在30秒和45秒时的表面温度平均绝对误差分别为0.465摄氏度和0.592摄氏度。
🔬 方法详解
问题定义：本文旨在解决现有3D重建方法在触觉和热交互方面的不足，特别是缺乏微观表面结构和动态温度信息的捕捉。
核心思路：TouchTherm框架通过结合结构光扫描和多视角法线图，恢复物体的微观特征和热动态，以实现高保真的触觉和热反馈。
技术框架：该框架分为两个主要模块：视觉-触觉重建和热重建。视觉-触觉重建使用结构光扫描获取几何信息，并通过多视角法线图恢复微高程场；热重建则通过同步红外视频捕获物体的温度变化。
关键创新：TouchTherm的创新在于同时处理视觉、触觉和热信息，提供了一个多模态的对象资产，显著提升了仿真效果和交互体验。
关键设计：在视觉-触觉重建中，法线图被注册到扫描几何上，并转换为切向空间以恢复微高程场；热重建中，采用物理正则化的方法来构建动态热场，确保温度预测的准确性。实验中，重建的微高程场和热场均显示出较高的细节保留和预测精度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，重建的微高程场有效保留了主要表面结构，热场在30秒和45秒时的表面温度平均绝对误差分别为0.465摄氏度和0.592摄氏度，显著优于现有方法，展示了TouchTherm的高效性和准确性。
🎯 应用场景
TouchTherm框架在机器人仿真、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供真实的触觉和热反馈，能够提升用户的沉浸感和交互体验，推动多模态感知技术的发展。未来，该技术可能在教育、医疗和工业设计等多个领域发挥重要作用。
📄 摘要（原文）
Robotic simulation and virtual reality increasingly require object assets that capture not only visual geometry but also the physical cues underlying tactile and thermal interaction. Existing 3D datasets and reconstruction methods primarily represent object-scale geometry and visual appearance, overlooking microscale surface structure for high-fidelity haptic rendering and transient temperature dynamics for temperature-aware interaction. We present TouchTherm, a framework for constructing simulation-ready visuo-tactile-thermal object assets from real-world objects. For visual and tactile reconstruction, we combine structured-light scanning with multiview normal maps obtained from photometric stereo. The normal maps are registered to the scanned geometry and transformed into tangent space to recover local micro-height fields for optical tactile rendering, while the coarse mesh handles collision detection. For thermal reconstruction, we capture synchronized multiview infrared videos of natural cooling following controlled heating and reconstruct a physics-regularized dynamic thermal field. Experiments on 20 objects show that the reconstructed micro-height fields preserve dominant surface structures and recover higher-frequency details beyond the coarse geometry, while the thermal fields achieve held-out surface-temperature MAEs of 0.465 degrees C and 0.592 degrees C at 30 s and 45 s, respectively. The resulting tactile assets support synthetic-to-real object recognition from tactile observations, while a glove-based VR system demonstrates spatially and temporally varying thermal feedback. These results highlight the potential of TouchTherm for multimodal sensory simulation and temperature-aware virtual interaction.