Bi-Directional Mental Model Reconciliation for Human-Robot Interaction with Large Language Models

📄 arXiv: 2503.07547v1 📥 PDF

作者: Nina Moorman, Michelle Zhao, Matthew B. Luebbers, Sanne Van Waveren, Reid Simmons, Henny Admoni, Sonia Chernova, Matthew Gombolay

分类: cs.RO

发布日期: 2025-03-10

备注: Advancing Artificial Intelligence through Theory of Mind Workshop at AAAI 2025

💡 一句话要点

提出基于大语言模型的双向心智模型协调框架，提升人机交互效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 心智模型 大型语言模型 双向协调 自然语言对话

📋 核心要点

  1. 现有心智模型协调工作通常假设人或机器人一开始就拥有对方的正确模型，限制了交互的灵活性。
  2. 该论文提出一种双向心智模型协调框架，利用大语言模型通过自然语言对话实现人机之间的模型对齐。
  3. 该框架允许人类和机器人识别并交流缺失的上下文信息，迭代地构建共享的心智模型，提升交互质量。

📝 摘要（中文）

在人机交互中，人类和机器人智能体维护着关于环境、共享任务以及彼此的内部心智模型。这些表征的准确性取决于每个智能体执行心智理论的能力，即理解队友的知识、偏好和意图。当心智模型出现分歧并影响任务执行时，需要进行协调以防止交互退化。我们提出了一个双向心智模型协调框架，利用大型语言模型通过半结构化的自然语言对话来促进对齐。我们的框架放宽了先前模型协调工作的假设，即人类或机器人智能体一开始就拥有另一个智能体的正确模型以供对齐。通过我们的框架，人类和机器人能够识别和交流交互过程中缺失的与任务相关的上下文，从而迭代地朝着共享心智模型发展。

🔬 方法详解

问题定义：现有的人机交互心智模型协调方法通常假设一方（通常是人类）拥有关于另一方（机器人）的准确模型，而另一方需要对齐到这个模型。这种单向对齐方式忽略了人类也可能缺乏关于机器人能力的知识，从而导致交互效率低下。因此，需要一种双向的心智模型协调机制，允许双方互相学习和调整各自的心智模型。

核心思路：该论文的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，构建一个双向的心智模型协调框架。通过半结构化的自然语言对话，人类和机器人可以互相交流各自的知识、意图和偏好，从而识别和弥补心智模型中的差异。这种双向交流促进了双方对彼此更准确的理解，最终实现更有效的协作。

技术框架：该框架包含以下主要模块：1) 情境感知模块：负责感知当前的任务状态和交互历史。2) 心智模型表征模块：使用LLM来表征人类和机器人的心智模型，包括知识、意图和偏好。3) 对话管理模块：负责生成和管理对话，包括提问、回答和澄清。4) 模型更新模块：根据对话内容更新人类和机器人的心智模型。整个流程是迭代的，通过多轮对话不断完善双方的心智模型。

关键创新：该论文最重要的创新点在于提出了双向的心智模型协调机制。与以往的单向对齐方法不同，该框架允许人类和机器人互相学习和调整各自的心智模型。此外，利用LLM进行心智模型表征和对话管理，使得框架具有更强的灵活性和适应性。

关键设计：对话管理模块采用半结构化的自然语言对话，既保证了交流的效率，又允许表达更丰富的信息。具体来说，对话可以包括以下几种类型：1) 知识询问：询问对方关于任务或环境的知识。2) 意图澄清：澄清对方的意图和目标。3) 偏好表达：表达自己的偏好和约束。模型更新模块使用LLM的微调技术，根据对话内容更新心智模型。具体的技术细节（如损失函数、网络结构等）在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

由于论文摘要中没有提供具体的实验结果和性能数据，因此无法总结实验亮点。具体实验结果未知。

🎯 应用场景

该研究成果可应用于各种人机协作场景，例如：辅助机器人、医疗机器人、教育机器人等。通过提升人机之间的理解和信任，可以提高协作效率和用户满意度。未来，该技术有望应用于更复杂的任务和更广泛的领域，例如：多智能体协作、人机混合团队等。

📄 摘要（原文）

In human-robot interactions, human and robot agents maintain internal mental models of their environment, their shared task, and each other. The accuracy of these representations depends on each agent's ability to perform theory of mind, i.e. to understand the knowledge, preferences, and intentions of their teammate. When mental models diverge to the extent that it affects task execution, reconciliation becomes necessary to prevent the degradation of interaction. We propose a framework for bi-directional mental model reconciliation, leveraging large language models to facilitate alignment through semi-structured natural language dialogue. Our framework relaxes the assumption of prior model reconciliation work that either the human or robot agent begins with a correct model for the other agent to align to. Through our framework, both humans and robots are able to identify and communicate missing task-relevant context during interaction, iteratively progressing toward a shared mental model.