TAP3D: Thermal-Assisted 3D Human Point Clouds

📄 arXiv: 2610.11241v1 📥 PDF

作者: Xie Zhang, Chengxiao Li, Xuan Liu, Chenshu Wu

分类: cs.CV, cs.HC

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出TAP3D以解决传统人类点云重建的隐私与成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D点云重建 热成像 人体感知 隐私保护 深度学习 多原件估计 几何视角融合

📋 核心要点

  1. 现有的LiDAR和深度相机方法在成本、重建稀疏性和隐私保护方面存在显著不足。
  2. 本文提出TAP3D，通过热成像阵列从人体热信号重建3D点云，解决了传统方法的缺陷。
  3. TAP3D在跌倒检测、室内跟踪和人类网格恢复等任务中表现出色，准确率和误差均显著优于现有方法。

📝 摘要（中文）

人类身体点云是AI驱动的人体感知的多功能表示。然而，现有的LiDAR、雷达和深度相机方法存在高成本、稀疏重建和隐私问题等固有缺陷。本文利用低成本热成像阵列，提出了TAP3D，这是第一个从人体热信号重建3D人类点云的系统，具有成本低、密度高、对人类敏感性强和隐私保护等显著优势。为克服深度估计、热干扰和多人体分离等主要挑战，我们提出了一种新颖的物理信息设计，结合了前向热物理模型和两个不同模块：自监督的多原件估计和几何视角融合。TAP3D在生成密集点云方面取得了显著准确性，支持跌倒检测、室内跟踪和人类网格恢复等下游任务。

🔬 方法详解

问题定义：本文旨在解决传统3D人类点云重建方法在高成本、稀疏重建和隐私保护方面的不足。现有技术依赖于昂贵的传感器，且在多人体场景中表现不佳。

核心思路：TAP3D通过利用低成本的热成像阵列，从人体热信号中重建3D点云，提供了一种新的隐私优先、完全被动的人体感知方式。

技术框架：TAP3D的整体架构包括两个主要模块：多原件估计模块用于自监督的深度和热特性联合恢复，几何视角融合模块用于抑制热干扰和分离多个人体。

关键创新：TAP3D的核心创新在于将热物理模型与深度估计相结合，首次实现了从热信号生成密集的3D点云，显著提高了重建的准确性和密度。

关键设计：在设计中，采用了特定的损失函数来优化深度和热特性的联合恢复，同时在网络结构上进行了优化，以适应热成像数据的特性。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TAP3D在密集点云生成方面表现出色，跌倒检测准确率达到91.46%，室内跟踪的平均绝对误差为21.86厘米，人类网格恢复的误差为4.87厘米。这些结果表明，TAP3D在多个下游任务中均显著优于现有基线方法，展示了其强大的实用性和准确性。

🎯 应用场景

TAP3D的研究成果在多个领域具有广泛的应用潜力，包括智能家居监控、老年人跌倒检测、室内定位系统等。由于其低成本和高隐私保护特性，TAP3D为未来的无接触人类感知技术开辟了新的方向，能够在各种环境中实现高效的人体状态监测。

📄 摘要（原文）

Human body point clouds are a versatile representation for AI-enabled human sensing. However, existing methods using LiDAR, radar, and depth cameras suffer from inherent drawbacks in high cost, sparse reconstruction, and privacy concerns, etc. In this paper, we exploit low-cost thermal arrays and present TAP3D, the first system to reconstruct 3D human point clouds from body heat signatures, offering significant advantages in cost, density, human sensitivity, and privacy. To overcome major challenges in depth estimation, thermal interference, and multi-person separation, we propose a novel physics-informed design, which integrates a forward thermal physics model with two distinct modules: multi-primitive estimation for self-supervised joint recovery of depth and other thermal properties, and geometric perspective fusion for suppressing interference and disentangling multiple people. We implement TAP3D using a single commodity thermal array sensor and build a large-scale dataset (160K samples, 8 environments, 11 users) for evaluation. TAP3D achieves remarkable accuracy for dense point cloud generation, enabling downstream tasks like fall detection (91.46%), indoor tracking (21.86 cm MAE), and human mesh recovery (4.87 cm error). By transforming body heat into point clouds for the first time, TAP3D pioneers a new paradigm for privacy-first, fully passive human sensing for many applications. TAP3D is open-sourced at https://github.com/aiot-lab/TAP3D.