ADESSE: Advice Explanations in Complex Repeated Decision-Making Environments
作者: Sören Schleibaum, Lu Feng, Sarit Kraus, Jörg P. Müller
分类: cs.AI
发布日期: 2024-05-31 (更新: 2024-09-10)
期刊: Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence (2024)
💡 一句话要点
ADESSE：在复杂重复决策环境中提供可解释建议，提升人机协作。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人机协作 可解释AI 决策支持 深度强化学习 建议解释
📋 核心要点
- 现有方法缺乏对AI智能体建议的有效解释，导致人类决策者难以信任和理解AI的决策依据。
- ADESSE通过生成可解释的建议，增强人类对AI智能体的信任，从而改善人机协作决策。
- 实验表明，ADESSE显著提升了人类决策者的满意度、决策质量和效率，证明了解释的重要性。
📝 摘要（中文）
在以人为中心的人工智能领域，如何促进人类决策者与AI智能体在决策过程中的协同关系是一个重要的挑战。本文考虑一种问题设置，其中智能体（包含基于神经网络的预测组件和深度强化学习组件）在复杂的重复决策环境中向人类决策者提供建议。人类决策者是否采纳建议取决于他们对智能体的信任和理解。为此，我们开发了一种名为ADESSE的方法，用于生成关于顾问智能体的解释，以提高人类的信任和决策质量。在不同模型规模的多种环境中进行的计算实验证明了ADESSE的适用性和可扩展性。此外，一项基于交互式游戏的用户研究表明，当呈现ADESSE生成的解释时，参与者更满意，在游戏中获得了更高的奖励，并且选择行动所需的时间更少。这些发现阐明了定制的、以人为中心的解释在人工智能辅助决策中的关键作用。
🔬 方法详解
问题定义：本文旨在解决复杂重复决策环境中，人类决策者难以信任和理解AI智能体提供的建议的问题。现有方法通常缺乏对AI决策过程的有效解释，导致人类难以判断建议的合理性，从而影响人机协作的效率和效果。人类决策者对AI的信任度直接影响其是否采纳AI的建议，而信任度又受到对AI决策过程理解程度的影响。
核心思路：ADESSE的核心思路是通过提供可解释的建议，增强人类决策者对AI智能体的理解和信任。该方法旨在生成简洁、易懂的解释，帮助人类理解AI做出特定建议的原因，从而提高人类采纳建议的意愿和决策质量。通过解释，人类可以更好地评估AI的建议，并将其与自身的知识和经验相结合，做出更明智的决策。
技术框架：ADESSE的技术框架包含以下主要模块：1) 基于神经网络的预测组件，用于预测环境状态和潜在结果；2) 深度强化学习组件，用于学习最优决策策略并生成建议；3) 解释生成模块，用于生成关于AI建议的解释。整体流程是：首先，预测组件预测环境状态；然后，强化学习组件基于预测结果生成建议；最后，解释生成模块根据预测结果和强化学习策略，生成对建议的解释，并将其呈现给人类决策者。
关键创新：ADESSE的关键创新在于其解释生成模块，该模块能够根据AI智能体的内部状态和决策过程，生成针对特定建议的定制化解释。与现有方法相比，ADESSE不仅提供AI的建议，还解释了AI做出该建议的原因，从而增强了人类对AI的理解和信任。这种解释是动态的，能够根据不同的环境状态和AI的决策过程进行调整，从而提供更具针对性和实用性的信息。
关键设计：ADESSE的关键设计包括：1) 预测组件采用深度神经网络，能够有效地处理复杂环境中的高维数据；2) 强化学习组件采用深度Q网络（DQN）或其变体，能够学习最优决策策略；3) 解释生成模块采用基于规则或基于模型的方法，能够根据AI的内部状态和决策过程，生成简洁、易懂的解释。具体的参数设置、损失函数和网络结构需要根据具体的应用场景进行调整和优化。
🖼️ 关键图片
📊 实验亮点
用户研究表明，与没有解释的情况相比，使用ADESSE生成的解释后，参与者的满意度显著提高，在游戏中获得的奖励更高，并且选择行动所需的时间更少。这些结果表明，ADESSE能够有效地提高人类决策者的决策质量和效率，并增强人机协作的信任和可靠性。具体提升幅度未知，原文未提供量化数据。
🎯 应用场景
ADESSE可应用于各种需要人机协作决策的领域，例如医疗诊断、金融投资、智能交通和军事指挥。通过提供可解释的建议，ADESSE可以帮助人类决策者更好地理解AI的决策过程，从而提高决策质量和效率，并增强人机协作的信任和可靠性。未来，ADESSE有望成为人机协作决策的重要工具，促进人工智能在各个领域的广泛应用。
📄 摘要（原文）
In the evolving landscape of human-centered AI, fostering a synergistic relationship between humans and AI agents in decision-making processes stands as a paramount challenge. This work considers a problem setup where an intelligent agent comprising a neural network-based prediction component and a deep reinforcement learning component provides advice to a human decision-maker in complex repeated decision-making environments. Whether the human decision-maker would follow the agent's advice depends on their beliefs and trust in the agent and on their understanding of the advice itself. To this end, we developed an approach named ADESSE to generate explanations about the adviser agent to improve human trust and decision-making. Computational experiments on a range of environments with varying model sizes demonstrate the applicability and scalability of ADESSE. Furthermore, an interactive game-based user study shows that participants were significantly more satisfied, achieved a higher reward in the game, and took less time to select an action when presented with explanations generated by ADESSE. These findings illuminate the critical role of tailored, human-centered explanations in AI-assisted decision-making.