Adaptive XAI in High Stakes Environments: Modeling Swift Trust with Multimodal Feedback in Human AI Teams

📄 arXiv: 2507.21158v1 📥 PDF

作者: Nishani Fernando, Bahareh Nakisa, Adnan Ahmad, Mohammad Naim Rastgoo

分类: cs.AI, cs.HC

发布日期: 2025-07-25

备注: 15 pages, 1 figure, Accepted to MAI-XAI@ECAI2025

💡 一句话要点

提出自适应XAI框架，通过多模态反馈在紧急场景中建模快速信任。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应可解释性 快速信任 人机协作 多模态反馈 高风险环境

📋 核心要点

  1. 现有XAI方法在高压环境下依赖显式反馈且解释单一，无法满足快速信任的需求。
  2. 提出自适应XAI框架，利用多模态隐式反馈推断用户状态，实现个性化解释。
  3. 该框架通过生理和行为信号估计用户信任度，并以此动态调整解释特征。

📝 摘要（中文）

在紧急响应等高风险环境中，高效的人机协作依赖于快速信任。在这些对时间敏感且认知负荷高的场景中，自适应可解释性对于促进人与AI系统之间的信任至关重要。现有XAI方法通常提供统一的解释，并过度依赖显式反馈，这在高压场景中不切实际。本文提出了一个自适应XAI的概念框架，通过隐式反馈响应用户的实时认知和情绪状态，从而非侵入式地增强高风险环境中的快速信任。该框架（AXTF）利用生理和行为信号（如脑电、心电和眼动追踪）来推断用户状态并支持解释的自适应调整。其核心是一个多目标、个性化的信任估计模型，将工作负载、压力和情绪映射到动态信任估计，从而指导解释特征的调整，实现响应式和个性化的支持，促进人机协作中的快速信任。该框架为开发适应高压、时间敏感环境需求的自适应、非侵入式XAI系统奠定了基础。

🔬 方法详解

问题定义：论文旨在解决在高风险、时间紧迫的环境中，现有可解释人工智能（XAI）方法无法有效建立人与AI系统之间的快速信任的问题。现有方法主要依赖于统一的解释和显式反馈，这在高压环境下是不切实际的，因为操作员可能没有时间或精力提供详细的反馈。因此，如何设计一种能够适应用户认知和情感状态，并提供个性化、非侵入式解释的XAI系统是关键挑战。

核心思路：论文的核心思路是通过利用多模态隐式反馈（例如，生理信号和行为数据）来推断用户的认知和情感状态，并基于这些状态动态调整XAI系统的解释方式。这种自适应的方法旨在提供更相关、更易于理解的解释，从而增强用户对AI系统的信任和理解，最终促进更有效的人机协作。

技术框架：论文提出的自适应可解释性信任框架（AXTF）包含以下主要模块：1) 数据采集模块，负责收集用户的生理信号（如EEG、ECG）和行为数据（如眼动追踪）；2) 用户状态推断模块，利用机器学习模型分析采集到的数据，推断用户的工作负载、压力和情绪状态；3) 信任估计模块，基于推断出的用户状态，使用多目标、个性化的模型估计用户对AI系统的信任度；4) 解释自适应模块，根据信任估计结果，动态调整XAI系统的解释特征，例如解释的详细程度、呈现方式等。

关键创新：该论文的关键创新在于其自适应性和非侵入性。传统的XAI方法通常提供静态的、统一的解释，而AXTF能够根据用户的实时状态动态调整解释方式，从而提供更个性化的支持。此外，AXTF利用隐式反馈，避免了对用户显式反馈的依赖，从而减少了用户的认知负担，使其更适用于高压环境。

关键设计：信任估计模块是关键设计之一，它使用多目标优化方法，同时考虑工作负载、压力和情绪等多个因素，以更准确地估计用户的信任度。解释自适应模块的设计也至关重要，需要根据不同的信任水平选择合适的解释特征。例如，当用户信任度较低时，可以提供更详细、更全面的解释；当用户信任度较高时，可以提供更简洁、更概要的解释。

🖼️ 关键图片

fig_0

📊 实验亮点

该论文提出了一个概念框架，目前没有具体的实验结果。未来的工作将集中于验证该框架的有效性，并评估其在实际应用中的性能。预期的实验结果包括：证明该框架能够有效提高用户对AI系统的信任度，减少决策时间，并提高决策准确性。此外，还将评估不同生理信号和行为数据对用户状态推断的贡献，以及不同解释特征对信任建立的影响。

🎯 应用场景

该研究成果可应用于紧急响应、医疗诊断、航空交通管制等高风险、时间敏感的领域。通过提供自适应的、个性化的解释，可以增强操作员对AI系统的信任，提高决策效率和准确性，从而在关键时刻做出更明智的决策。未来，该技术有望扩展到其他需要人机协作的领域，例如自动驾驶、智能制造等。

📄 摘要（原文）

Effective human-AI teaming heavily depends on swift trust, particularly in high-stakes scenarios such as emergency response, where timely and accurate decision-making is critical. In these time-sensitive and cognitively demanding settings, adaptive explainability is essential for fostering trust between human operators and AI systems. However, existing explainable AI (XAI) approaches typically offer uniform explanations and rely heavily on explicit feedback mechanisms, which are often impractical in such high-pressure scenarios. To address this gap, we propose a conceptual framework for adaptive XAI that operates non-intrusively by responding to users' real-time cognitive and emotional states through implicit feedback, thereby enhancing swift trust in high-stakes environments. The proposed adaptive explainability trust framework (AXTF) leverages physiological and behavioral signals, such as EEG, ECG, and eye tracking, to infer user states and support explanation adaptation. At its core is a multi-objective, personalized trust estimation model that maps workload, stress, and emotion to dynamic trust estimates. These estimates guide the modulation of explanation features enabling responsive and personalized support that promotes swift trust in human-AI collaboration. This conceptual framework establishes a foundation for developing adaptive, non-intrusive XAI systems tailored to the rigorous demands of high-pressure, time-sensitive environments.