Failure Modes of Vision-Language Models for Human Activity Understanding in Thermal HRI
作者: Han Hu, He Chen
分类: cs.CV, cs.RO
发布日期: 2026-10-21
备注: 9 pages, 6 figures, 2 tables
💡 一句话要点
评估热成像人机交互中的视觉语言模型失败模式
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 热成像 人机交互 视觉语言模型 细粒度动作识别 活动时间线重建 隐私保护 机器人技术
📋 核心要点
- 现有的视觉语言模型在热成像人类活动理解中存在失败模式，尤其是在细粒度动作识别和事件时间线重建方面。
- 本文通过评估七种VLMs，探索其在热成像数据集上的表现，填补了这一研究空白。
- 实验结果表明，模型在广泛活动类别识别上表现良好，但在细节动作和时间线重建上存在显著不足。
📝 摘要（中文）
热成像相机使机器人能够在黑暗中感知人类活动，同时减少个人可识别信息的泄露。随着视觉语言模型（VLMs）逐渐应用于机器人系统，热成像为低光和隐私敏感环境中的活动感知提供了新途径。然而，VLMs在热成像人类活动理解中的失败模式尚未得到充分探讨。本文评估了七种可本地部署的VLMs，针对两个人体中心的热成像数据集进行诊断任务，结果显示模型在识别广泛活动类别方面表现良好，但在细粒度动作识别上存在困难，且在事件时间线重建中表现不佳。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在热成像人类活动理解中的失败模式，特别是在细粒度动作识别和事件时间线重建方面的不足。现有方法在低光和隐私敏感环境中的应用效果不佳。
核心思路：通过评估多种VLMs在热成像数据集上的表现，分析其在不同任务中的能力，旨在识别和理解模型的局限性及潜在改进方向。
技术框架：研究采用了七种VLMs，进行细粒度动作识别、活动时间线重建和不支持答案的抑制能力评估，使用RGB录制作为性能参考。
关键创新：本研究首次系统性评估了VLMs在热成像人类活动理解中的表现，揭示了模型在细粒度动作识别和时间线重建中的具体失败模式。
关键设计：实验中对热成像输入进行了简单的预处理，并在不同模型间比较了抑制行为的差异，发现模型在不同任务中的表现存在显著差异。具体参数设置和损失函数未详细披露，需进一步研究。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在广泛活动类别的识别上表现良好，但在细粒度动作（如咳嗽、打喷嚏、打哈欠）识别和事件时间线重建上存在显著不足。简单的热成像输入预处理和额外推理仅提供有限的改进，且模型间的抑制行为差异显著，影响其实际应用的可靠性。
🎯 应用场景
该研究的潜在应用领域包括机器人辅助、安防监控和智能家居等，能够在低光和隐私敏感环境中实现人类活动的有效识别与理解。未来，随着技术的进步，热成像VLMs有望在更多实际场景中得到应用，提升人机交互的安全性和智能化水平。
📄 摘要（原文）
Thermal cameras enable robots to perceive human activities in darkness while revealing less personally identifiable appearance information and fewer details of the surrounding environment than RGB cameras. As vision-language models (VLMs), originally developed for RGB imagery, are increasingly integrated into embodied systems for scene understanding and high-level planning, thermal sensing offers a promising way to extend activity perception to low-light and privacy-sensitive settings. However, the failure modes of VLMs in thermal human activity understanding for human-robot interaction (HRI) remain underexplored. We fill this gap by evaluating seven locally deployable VLMs, including models developed for physical AI and robotics, on two person-centric thermal datasets. Our diagnostic tasks examine fine-grained action recognition, activity timeline reconstruction, and the ability to withhold unsupported answers. Paired RGB recordings serve as a performance reference, while controlled variations in frame sampling, thermal input presentation, and reasoning are used to assess whether the observed errors can be mitigated. Our results show that models can recognize broad activity categories but struggle with fine-grained actions such as coughing, sneezing, and yawning. They also produce inaccurate event timelines and hallucinate actions involving objects. Simple thermal input preprocessing and additional reasoning offer only limited, model-dependent gains. Abstention behavior also varies across models even under explicit instructions, limiting their reliability for practical robotic use.