TCEval: Using Thermal Comfort to Assess Cognitive and Perceptual Abilities of AI

📄 arXiv: 2512.23217v1 📥 PDF

作者: Jingming Li

分类: cs.AI

发布日期: 2025-12-29

💡 一句话要点

TCEval：利用热舒适度评估AI的认知和感知能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 热舒适度 认知评估 大语言模型 跨模态推理 因果关联 自适应决策 具身智能 智能建筑

📋 核心要点

  1. 现有LLM评测缺乏对现实世界认知能力的有效基准，尤其是在涉及复杂环境交互的场景下。
  2. TCEval框架利用热舒适度这一复杂场景，评估LLM在跨模态推理、因果关联和自适应决策方面的能力。
  3. 实验表明，LLM在热舒适度评估中与人类存在差距，但方向一致性有所提高，验证了TCEval作为认知图灵测试的可行性。

📝 摘要（中文）

现有大语言模型(LLM)在特定任务基准测试中存在关键缺口。热舒适度是环境因素和个人感知之间复杂相互作用的结果，涉及感觉统合和自适应决策，是评估AI系统现实认知能力的理想范例。为此，我们提出了TCEval，这是第一个通过利用热舒适度场景和大型语言模型(LLM)代理来评估AI三个核心认知能力（跨模态推理、因果关联和自适应决策）的评估框架。该方法包括初始化具有虚拟人格属性的LLM代理，引导它们生成服装保暖选择和热舒适度反馈，并根据ASHRAE全球数据库和中国热舒适度数据库验证输出。对四个LLM的实验表明，虽然代理反馈与人类的精确对齐有限，但方向一致性在1 PMV容差下显著提高。统计测试表明，LLM生成的PMV分布与人类数据明显不同，并且代理在离散热舒适度分类中表现接近随机。这些结果证实了TCEval作为AI生态有效认知图灵测试的可行性，表明当前的LLM具有基本的跨模态推理能力，但缺乏对热舒适度中变量之间非线性关系的精确因果理解。TCEval补充了传统的基准测试，将AI评估的重点从抽象的任务熟练度转移到具身、情境感知的感知和决策，为在智能建筑等以人为本的应用中推进AI提供了宝贵的见解。

🔬 方法详解

问题定义：现有LLM的评估基准主要集中在抽象的任务完成度上，缺乏对AI在复杂、具身环境中的认知能力的有效评估。特别是在涉及多因素交互、非线性关系以及主观感知的场景下，现有方法难以准确衡量AI的智能水平。热舒适度就是一个典型的例子，它受到环境温度、湿度、风速、服装保暖性以及个体差异等多种因素的影响，需要AI具备跨模态推理、因果关联和自适应决策能力。

核心思路：TCEval的核心思路是将热舒适度作为一个认知测试平台，通过模拟真实的热舒适度场景，让LLM扮演具有不同人格属性的虚拟代理，并根据环境信息和自身状态做出决策（例如选择合适的服装保暖性），然后评估其热舒适度反馈。通过对比LLM的决策和反馈与人类数据的差异，可以评估LLM在跨模态推理、因果关联和自适应决策方面的能力。这种方法将AI评估从抽象任务转移到具身、情境感知的感知和决策，更贴近现实世界的应用场景。

技术框架：TCEval框架主要包含以下几个阶段：1) 代理初始化：为LLM代理赋予虚拟人格属性，例如年龄、性别、活动水平等。2) 场景构建：构建不同的热舒适度场景，包括环境温度、湿度、风速等参数。3) 决策生成：引导LLM代理根据场景信息和自身属性，生成服装保暖性选择和热舒适度反馈。4) 数据验证：将LLM生成的服装保暖性选择和热舒适度反馈与ASHRAE全球数据库和中国热舒适度数据库中的人类数据进行对比验证。5) 性能评估：通过统计测试和可视化分析，评估LLM在跨模态推理、因果关联和自适应决策方面的能力。

关键创新：TCEval最重要的技术创新点在于将热舒适度作为一个认知测试平台，用于评估AI在复杂、具身环境中的认知能力。与传统的基准测试相比，TCEval更注重评估AI的感知、推理和决策能力，而不是简单的任务完成度。此外，TCEval还引入了虚拟人格属性，使得LLM代理能够更好地模拟人类的决策过程。

关键设计：TCEval的关键设计包括：1) 使用ASHRAE全球数据库和中国热舒适度数据库作为人类数据的基准。2) 使用PMV（Predicted Mean Vote，预测平均评价）作为热舒适度的指标。3) 使用统计测试（例如t检验、卡方检验）来评估LLM生成的PMV分布与人类数据的差异。4) 允许1 PMV的容差，以评估LLM在方向一致性方面的表现。

📊 实验亮点

实验结果表明，LLM代理在热舒适度评估中与人类存在差距，尤其是在精确对齐方面。然而，在1 PMV容差下，LLM代理的方向一致性显著提高，表明LLM具备一定的跨模态推理能力。统计测试显示，LLM生成的PMV分布与人类数据存在显著差异，表明LLM缺乏对热舒适度中变量之间非线性关系的精确因果理解。在离散热舒适度分类任务中，LLM代理的表现接近随机。

🎯 应用场景

TCEval的研究成果可应用于智能建筑、智能家居、个性化健康管理等领域。通过评估AI在热舒适度方面的认知能力，可以开发出更加智能、人性化的环境控制系统，提高人们的生活质量和工作效率。此外，TCEval还可以作为AI认知能力评估的通用框架，应用于其他复杂、具身环境的评估。

📄 摘要（原文）

A critical gap exists in LLM task-specific benchmarks. Thermal comfort, a sophisticated interplay of environmental factors and personal perceptions involving sensory integration and adaptive decision-making, serves as an ideal paradigm for evaluating real-world cognitive capabilities of AI systems. To address this, we propose TCEval, the first evaluation framework that assesses three core cognitive capacities of AI, cross-modal reasoning, causal association, and adaptive decision-making, by leveraging thermal comfort scenarios and large language model (LLM) agents. The methodology involves initializing LLM agents with virtual personality attributes, guiding them to generate clothing insulation selections and thermal comfort feedback, and validating outputs against the ASHRAE Global Database and Chinese Thermal Comfort Database. Experiments on four LLMs show that while agent feedback has limited exact alignment with humans, directional consistency improves significantly with a 1 PMV tolerance. Statistical tests reveal that LLM-generated PMV distributions diverge markedly from human data, and agents perform near-randomly in discrete thermal comfort classification. These results confirm the feasibility of TCEval as an ecologically valid Cognitive Turing Test for AI, demonstrating that current LLMs possess foundational cross-modal reasoning ability but lack precise causal understanding of the nonlinear relationships between variables in thermal comfort. TCEval complements traditional benchmarks, shifting AI evaluation focus from abstract task proficiency to embodied, context-aware perception and decision-making, offering valuable insights for advancing AI in human-centric applications like smart buildings.