TUX: Measuring Human--AI Tacit Understanding

📄 arXiv: 2605.30930v1 📥 PDF

作者: Yueshen Li, Hanyi Min, Vedant Das Swain, Koustuv Saha

分类: cs.HC, cs.AI, cs.CL, cs.CY

发布日期: 2026-05-29

💡 一句话要点

提出TUX指标，衡量人与AI在无明确目标下的隐性理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 隐性理解 大型语言模型 对齐 主观性

📋 核心要点

  1. 现有的人机对齐评估侧重于显式任务，忽略了协作中重要的隐性理解能力。
  2. 论文提出隐性理解指数（TUX），通过频谱放置任务衡量人与AI在主观概念上的理解对齐程度。
  3. 实验表明，个体特征相似的人机对TUX更高，且TUX可通过更丰富的特征预测集进行解释。

📝 摘要（中文）

随着大型语言模型（LLMs）越来越多地扮演协作伙伴的角色，人机对齐通常通过显式的任务成功率、准确性或奖励优化来评估。然而，许多协作场景依赖于隐性理解：即智能体在没有明确目标、沟通或反馈的情况下，是否能够与人类的评估立场或表征先验对齐。为了研究这种能力，我们开发了一个受社交游戏Wavelength启发的频谱放置任务，其中人类和智能体独立地将概念放置在主观频谱上。我们将隐性理解指数（TUX）定义为人类和智能体判断之间相似性的成对度量，并使用241名人类参与者和200个profile-conditioned LLM智能体（基于四种模型）对其进行评估。我们发现，在特征空间中最接近的人-智能体对实现了显著更高的TUX，这表明隐性对齐是由个体层面的特征而非随机相似性所构建的。回归分析表明，随着预测变量集的丰富，TUX变得更具可解释性，个体特征、决策风格和置信度优于聚合特征距离基线。这些发现表明，人类和LLM之间的隐性理解是可衡量的，同时也揭示了基于profile-based conditioning在捕获更深层次表征对齐方面的局限性。

🔬 方法详解

问题定义：现有的人机协作研究主要关注于有明确目标、沟通和反馈的任务，例如问答、对话等。然而，在许多实际场景中，人与AI的协作依赖于双方的隐性理解，即在缺乏明确指令的情况下，AI能否理解人类的偏好、价值观和世界观。现有方法难以有效衡量这种隐性理解，阻碍了更自然、高效的人机协作。

核心思路：论文的核心思路是将隐性理解转化为可量化的指标。通过设计一个频谱放置任务，让人类和AI独立地对一系列概念进行主观排序，然后计算两者排序结果的相似度，以此来衡量它们之间的隐性理解程度。这种方法巧妙地避开了对隐性理解的直接定义，而是通过行为相似性来间接评估。

技术框架：该研究的技术框架主要包括以下几个部分：1）设计频谱放置任务，选择一系列具有主观性的概念，例如“快乐”到“悲伤”；2）招募人类参与者，让他们在频谱上放置这些概念；3）使用大型语言模型（LLM）作为智能体，并根据预先设定的profile（例如性格特征）来调整LLM的行为，让LLM在频谱上放置相同的概念；4）计算人类和LLM放置结果的相似度，作为隐性理解指数（TUX）；5）进行回归分析，研究哪些因素（例如性格特征、决策风格）能够预测TUX。

关键创新：该研究的关键创新在于提出了隐性理解指数（TUX）这一概念，并将其操作化为一个可衡量的指标。TUX的提出为研究人机协作中的隐性理解提供了一个新的视角和方法。此外，该研究还发现，个体特征相似的人机对TUX更高，这表明隐性理解并非随机的，而是受到个体特征的影响。

关键设计：频谱放置任务的设计是关键。概念的选择需要具有一定的主观性，以便能够反映个体差异。LLM的profile-based conditioning也很重要，需要选择合适的性格特征，并设计有效的方法来将这些特征融入到LLM的行为中。相似度计算方法也需要仔细选择，以确保能够准确地反映人类和LLM放置结果的相似程度。论文中使用了余弦相似度作为TUX的计算方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在特征空间中最接近的人-智能体对实现了显著更高的TUX，这表明隐性对齐是由个体层面的特征而非随机相似性所构建的。回归分析表明，随着预测变量集的丰富，TUX变得更具可解释性，个体特征、决策风格和置信度优于聚合特征距离基线。这些发现验证了TUX作为隐性理解衡量指标的有效性，并揭示了影响人机隐性理解的关键因素。

🎯 应用场景

该研究成果可应用于开发更懂用户、更具同理心的人工智能系统。例如，在个性化推荐系统中，可以利用TUX来衡量AI对用户偏好的理解程度，从而提供更符合用户需求的推荐结果。在人机对话系统中，可以利用TUX来评估AI是否能够理解用户的意图和情感，从而进行更自然、流畅的对话。此外，该研究还可以用于评估不同AI模型的价值观和偏见，从而促进AI的公平性和透明性。

📄 摘要（原文）

As large language models (LLMs) increasingly act as collaborative partners, human--AI alignment is often evaluated through explicit task success, accuracy, or reward optimization. Yet many collaborative settings depend on tacit understanding: whether an agent can align with a human's evaluative stance or representational priors without clear objectives, communication, or feedback. To study this capacity, we develop a spectrum-placement task inspired by the social party game Wavelength, in which humans and agents independently place concepts along subjective spectra. We operationalize the Tacit Understanding Index (TUX) as a pairwise measure of similarity between human and agent judgments, and evaluate it with 241 human participants and 200 profile-conditioned LLM agents across four models. We find that nearest human--agent pairs in trait space achieve significantly higher TUX, suggesting that tacit alignment is structured by person-level characteristics rather than random similarity. Regression analyses show that TUX becomes more explainable as predictor sets become richer, with individual traits, decision-making styles, and confidence improving over aggregate trait-distance baselines. These findings suggest that tacit understanding between humans and LLMs is measurable, while revealing the limits of profile-based conditioning for capturing deeper representational alignment.