COMMET: A System for Human-Induced Conflicts in Mobile Manipulation of Everyday Tasks

📄 arXiv: 2509.04836v1 📥 PDF

作者: Dongping Li, Shaoting Peng, John Pohovey, Katherine Rose Driggs-Campbell

分类: cs.RO

发布日期: 2025-09-05

💡 一句话要点

COMMET：用于日常任务移动操作中人机冲突处理的系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人机交互 移动操作 人机冲突 多模态检索 模型微调

📋 核心要点

  1. 现有方法难以应对日常环境中动态且不可预测的人机冲突，并且缺乏对用户个性化偏好的考虑。
  2. COMMET系统采用混合检测方法，结合多模态检索和微调模型推理，并利用GPT-4o总结用户偏好。
  3. 初步实验表明，COMMET的检测模块在准确性和延迟方面优于GPT模型，并提供用户友好的数据收集界面。

📝 摘要（中文）

机器人和人工智能的持续进步正推动机器人从工业领域融入日常生活环境。然而，日常生活中动态且不可预测的人类活动会直接或间接地与机器人的动作发生冲突。此外，由于此类人机冲突的社会属性，解决方案并非总是唯一的，并且高度依赖于用户的个人偏好。为了应对这些挑战并促进家用机器人的发展，我们提出了COMMET，一个用于日常任务移动操作中人机冲突处理的系统。COMMET采用混合检测方法，首先进行多模态检索，然后升级到微调模型推理以处理低置信度的情况。基于收集的用户偏好选项和设置，GPT-4o将被用于总结来自相关案例的用户偏好。在初步研究中，我们的检测模块显示出比GPT模型更好的准确性和延迟。为了方便未来的研究，我们还设计了一个用户友好的界面，用于用户数据收集，并展示了真实部署的有效工作流程。

🔬 方法详解

问题定义：论文旨在解决移动操作机器人与人类在日常任务中发生冲突的问题。现有方法通常难以有效检测和解决这些冲突，尤其是在考虑到用户个性化偏好的情况下。此外，现有方法在准确性和延迟方面可能存在不足，难以满足实时性要求。

核心思路：COMMET的核心思路是采用一种混合检测方法，结合多模态检索和微调模型推理，以提高检测的准确性和效率。同时，利用GPT-4o等大型语言模型来总结用户偏好，从而实现个性化的冲突解决方案。这种混合方法旨在平衡准确性、延迟和用户偏好，从而提高人机协作的效率和用户满意度。

技术框架：COMMET系统主要包含以下几个模块：1) 多模态检索模块：用于快速检索与当前场景相关的历史数据；2) 微调模型推理模块：用于对低置信度的情况进行更精确的检测；3) 用户偏好收集模块：通过用户友好的界面收集用户对冲突解决方案的偏好；4) GPT-4o偏好总结模块：利用GPT-4o等大型语言模型总结用户偏好，并生成个性化的冲突解决方案。整体流程是，首先通过多模态检索进行初步检测，如果置信度较低，则使用微调模型进行更精确的推理。然后，根据收集到的用户偏好，利用GPT-4o生成个性化的解决方案。

关键创新：COMMET的关键创新在于其混合检测方法和用户偏好总结机制。混合检测方法结合了多模态检索的快速性和微调模型推理的准确性，从而提高了检测的效率和准确性。用户偏好总结机制利用GPT-4o等大型语言模型，能够有效地总结用户偏好，并生成个性化的冲突解决方案。与现有方法相比，COMMET更注重用户个性化偏好，并能够提供更高效和准确的冲突解决方案。

关键设计：COMMET的关键设计包括：1) 多模态检索模块中使用的特征提取方法和相似度度量；2) 微调模型推理模块中使用的网络结构和损失函数；3) 用户偏好收集模块的用户界面设计和数据存储方式；4) GPT-4o偏好总结模块的提示工程和参数设置。具体的参数设置、损失函数和网络结构等技术细节在论文中可能没有详细描述，属于未知信息。

📊 实验亮点

初步实验结果表明，COMMET的检测模块在准确性和延迟方面优于GPT模型。具体性能数据和对比基线在摘要中未明确给出，属于未知信息。论文强调了COMMET在用户数据收集方面的优势，并展示了真实部署的有效工作流程，表明该系统具有实际应用价值。

🎯 应用场景

COMMET系统具有广泛的应用前景，可应用于家庭服务机器人、医疗机器人、智能助手等领域。通过有效解决人机冲突，提高人机协作效率，COMMET能够提升用户体验，并促进机器人技术在日常生活中的普及。未来，COMMET有望成为人机交互领域的重要组成部分，推动机器人更好地服务于人类。

📄 摘要（原文）

Continuous advancements in robotics and AI are driving the integration of robots from industry into everyday environments. However, dynamic and unpredictable human activities in daily lives would directly or indirectly conflict with robot actions. Besides, due to the social attributes of such human-induced conflicts, solutions are not always unique and depend highly on the user's personal preferences. To address these challenges and facilitate the development of household robots, we propose COMMET, a system for human-induced COnflicts in Mobile Manipulation of Everyday Tasks. COMMET employs a hybrid detection approach, which begins with multi-modal retrieval and escalates to fine-tuned model inference for low-confidence cases. Based on collected user preferred options and settings, GPT-4o will be used to summarize user preferences from relevant cases. In preliminary studies, our detection module shows better accuracy and latency compared with GPT models. To facilitate future research, we also design a user-friendly interface for user data collection and demonstrate an effective workflow for real-world deployments.