TouchTherm: Building Multimodal Digital Twins of Objects for Tactile and Thermal Rendering
作者: Yitao Zhang, Hong Ying, Haoran Guo, Xiaoying Zhou, Guanyu Chen, Chenxi Xiao
分类: cs.RO
发布日期: 2026-10-01 (更新: 2026-10-02)
备注: 8 pages, 8 figures. Project webpage: https://anonymous-research1.github.io/
💡 一句话要点
提出TouchTherm框架以构建多模态数字双胞胎，解决触觉与热反馈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态重建 触觉反馈 热动态 虚拟现实 机器人仿真 数字双胞胎 物理正则化
📋 核心要点
- 现有方法主要关注物体的几何形状和视觉外观，未能有效捕捉微观表面结构和热动态，限制了触觉和热反馈的真实感。
- TouchTherm框架结合结构光扫描和多视角法线图，构建可用于仿真的视觉-触觉-热对象资产，提升了触觉和热交互的真实感。
- 在20个物体的实验中，重建的微高程场保留了重要的表面结构，热场在不同时间点的温度均方误差表现优异，展示了框架的有效性。
📝 摘要（中文）
随着机器人仿真和虚拟现实的发展，越来越需要能够捕捉物体触觉和热交互的数字资产。现有的3D数据集和重建方法主要关注物体的几何形状和视觉外观，忽略了微观表面结构和瞬态温度动态。本文提出了TouchTherm框架，通过结合结构光扫描和多视角法线图，构建可用于仿真的视觉-触觉-热对象资产。实验表明，重建的微高程场保留了表面结构的主导特征，热场在不同时间点的表面温度均方误差分别为0.465°C和0.592°C。这些成果展示了TouchTherm在多模态感知仿真和温度感知虚拟交互中的潜力。
🔬 方法详解
问题定义：本文旨在解决现有3D重建方法在触觉和热交互方面的不足，特别是缺乏对微观表面结构和瞬态温度动态的有效捕捉。
核心思路：通过结合结构光扫描与多视角法线图，TouchTherm框架能够构建出高保真的视觉-触觉-热对象资产，从而提升虚拟交互的真实感。
技术框架：该框架包括两个主要模块：视觉-触觉重建模块和热重建模块。视觉-触觉重建利用结构光扫描获取几何信息，并通过多视角法线图重建微高程场；热重建则通过同步的多视角红外视频捕捉物体的温度动态。
关键创新：TouchTherm的主要创新在于同时考虑了触觉和热交互的多模态重建，突破了传统方法仅关注视觉信息的局限，提供了更为全面的对象资产。
关键设计：在微高程场的重建中，法线图被注册到扫描几何上并转换到切向空间，以恢复局部微高程；热场重建则采用物理正则化的方法，确保动态热场的真实性。
🖼️ 关键图片
📊 实验亮点
在20个物体的实验中，重建的微高程场成功保留了表面结构的主导特征，热场在30秒和45秒时的表面温度均方误差分别为0.465°C和0.592°C，显示出较高的重建精度。这些结果表明TouchTherm在多模态感知仿真中的有效性和应用前景。
🎯 应用场景
TouchTherm框架在机器人仿真、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供真实的触觉和热反馈，该框架能够提升用户的沉浸感和交互体验，推动智能设备与用户之间的自然交互。未来，TouchTherm可能在教育、医疗和娱乐等多个行业中发挥重要作用。
📄 摘要（原文）
Robotic simulation and virtual reality increasingly require object assets that capture not only visual geometry but also the physical cues underlying tactile and thermal interaction. Existing 3D datasets and reconstruction methods primarily represent object-scale geometry and visual appearance, overlooking microscale surface structure for high-fidelity haptic rendering and transient temperature dynamics for temperature-aware interaction. We present TouchTherm, a framework for constructing simulation-ready visuo-tactile-thermal object assets from real-world objects. For visual and tactile reconstruction, we combine structured-light scanning with multiview normal maps obtained from photometric stereo. The normal maps are registered to the scanned geometry and transformed into tangent space to recover local micro-height fields for optical tactile rendering, while the coarse mesh handles collision detection. For thermal reconstruction, we capture synchronized multiview infrared videos of natural cooling following controlled heating and reconstruct a physics-regularized dynamic thermal field. Experiments on 20 objects show that the reconstructed micro-height fields preserve dominant surface structures and recover higher-frequency details beyond the coarse geometry, while the thermal fields achieve held-out surface-temperature MAEs of 0.465 degrees C and 0.592 degrees C at 30 s and 45 s, respectively. The resulting tactile assets support synthetic-to-real object recognition from tactile observations, while a glove-based VR system demonstrates spatially and temporally varying thermal feedback. These results highlight the potential of TouchTherm for multimodal sensory simulation and temperature-aware virtual interaction.