ACE, Action and Control via Explanations: A Proposal for LLMs to Provide Human-Centered Explainability for Multimodal AI Assistants

📄 arXiv: 2503.16466v1 📥 PDF

作者: Elizabeth Anne Watkins, Emanuel Moss, Ramesh Manuvinakurike, Meng Shi, Richard Beckwith, Giuseppe Raffa

分类: cs.HC, cs.AI

发布日期: 2025-02-27

备注: Accepted at Human-Centered Explainable AI workshop at CHI 2024

💡 一句话要点

提出ACE框架，利用LLM解释实现人机协作，提升多模态AI助手在制造业中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 多模态AI 大型语言模型 可解释性 制造业

📋 核心要点

  1. 现有制造领域的多模态AI系统在参与式设计和训练方面面临挑战，难以有效对齐人类意图。
  2. ACE框架利用LLM生成语义框架解释，促进人机协作，让人类能够指导AI系统理解和建模人类行为。
  3. ACE旨在提升AI系统对人类活动的理解和预测能力，从而改善任务支持和用户体验，具体效果未知。

📝 摘要（中文）

本文针对制造业领域中构建用于支持人类绩效的多模态AI系统所面临的问题，提出了ACE（Action and Control via Explanations）范式。ACE的核心思想是利用大型语言模型（LLM）生成人类可解释的“语义框架”形式的解释，从而使最终用户能够提供AI系统所需的数据，以对齐其多模态模型和表示，包括计算机视觉、自动语音识别和文档输入。通过使用LLM进行“解释”，ACE将帮助人类和AI系统进行协作，共同构建更准确的人类活动和行为模型，并最终实现更准确的预测输出，从而更好地支持任务并为执行手动任务的人类用户带来更好的结果。

🔬 方法详解

问题定义：当前制造业中用于辅助人类的多模态AI系统，在模型训练和部署过程中，存在人机交互不足的问题。用户难以理解AI系统的决策过程，也难以有效地向AI系统提供反馈和指导，导致AI模型难以准确捕捉人类行为的细微差别，影响任务支持的有效性。现有方法缺乏有效的人机协作机制，阻碍了AI系统性能的进一步提升。

核心思路：ACE框架的核心思路是利用大型语言模型（LLM）作为人机交互的桥梁，通过LLM生成人类可理解的“语义框架”形式的解释，将AI系统的内部状态和决策过程呈现给用户。用户可以根据这些解释，对AI系统进行反馈和指导，从而帮助AI系统更好地理解人类行为和意图。这种基于解释的交互方式，能够促进人机协作，提升AI系统的性能。

技术框架：ACE框架包含以下主要模块：1) 多模态数据采集模块，负责采集包括视觉、语音和文档等多种模态的数据；2) 多模态模型，用于对采集到的数据进行建模和分析；3) LLM解释模块，利用LLM将多模态模型的内部状态和决策过程转化为人类可理解的语义框架；4) 人机交互模块，负责将LLM生成的解释呈现给用户，并接收用户的反馈和指导；5) 模型更新模块，根据用户的反馈和指导，对多模态模型进行更新和优化。

关键创新：ACE框架的关键创新在于利用LLM生成语义框架解释，实现人机协作。与传统的黑盒AI系统相比，ACE框架能够提供透明的决策过程，使用户能够理解AI系统的行为，并进行有效的反馈和指导。这种基于解释的交互方式，能够显著提升AI系统的可解释性和可控性。

关键设计：论文中没有详细描述关键的技术细节，例如LLM的具体选择、语义框架的具体结构、以及模型更新的具体算法。这些细节需要根据具体的应用场景和数据特点进行设计和调整。论文中也没有提及损失函数和网络结构等信息，这些细节未知。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

由于是论文是proposal，并没有给出具体的实验结果。论文提出了ACE框架，并阐述了其在制造业中的应用前景。未来的工作将集中在验证ACE框架的有效性，并与其他现有方法进行比较。具体的性能数据、对比基线、提升幅度等信息未知。

🎯 应用场景

ACE框架具有广泛的应用前景，可应用于制造业、医疗保健、教育等多个领域。在制造业中，ACE可以用于辅助工人进行装配、维修等任务，提高工作效率和质量。在医疗保健领域，ACE可以用于辅助医生进行诊断和治疗，提高医疗水平。在教育领域，ACE可以用于个性化教学，提高学生的学习效果。ACE框架通过提供可解释的AI系统，增强了用户对AI的信任感，促进了AI技术的普及和应用。

📄 摘要（原文）

In this short paper we address issues related to building multimodal AI systems for human performance support in manufacturing domains. We make two contributions: we first identify challenges of participatory design and training of such systems, and secondly, to address such challenges, we propose the ACE paradigm: "Action and Control via Explanations". Specifically, we suggest that LLMs can be used to produce explanations in the form of human interpretable "semantic frames", which in turn enable end users to provide data the AI system needs to align its multimodal models and representations, including computer vision, automatic speech recognition, and document inputs. ACE, by using LLMs to "explain" using semantic frames, will help the human and the AI system to collaborate, together building a more accurate model of humans activities and behaviors, and ultimately more accurate predictive outputs for better task support, and better outcomes for human users performing manual tasks.