Grounding Task Assistance with Multimodal Cues from a Single Demonstration
作者: Gabriel Sarch, Balasaravanan Thoravi Kumaravel, Sahithya Ravi, Vibhav Vineet, Andrew D. Wilson
分类: cs.CV
发布日期: 2025-05-02
💡 一句话要点
MICA：利用单次演示中的多模态线索增强任务辅助的对话智能体
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 任务辅助 眼动追踪 语音识别 视觉问答
📋 核心要点
- RGB视频在演示学习中存在局限性，无法捕捉意图、安全因素和用户偏好等细粒度情境线索。
- MICA框架通过整合眼动追踪和语音线索，将演示分解为子任务，提取关键帧和字幕，增强情境理解。
- 实验表明，多模态线索显著提升了任务辅助的响应质量，眼动追踪单独使用即可达到语音性能的93%。
📝 摘要（中文）
本文提出了一种名为MICA（多模态交互情境化辅助）的框架，旨在通过整合眼动追踪和语音线索，改进用于任务辅助的对话智能体。MICA将演示分解为有意义的子任务，并提取关键帧和字幕，以捕捉细粒度的意图和用户特定的线索，从而为视觉问答提供更丰富的情境基础。在实时聊天辅助任务复制的问题评估中，多模态线索显著提高了响应质量，优于基于帧的检索方法。值得注意的是，仅眼动追踪线索就达到了语音性能的93%，而它们的结合产生了最高的准确率。任务类型决定了隐式（眼动追踪）与显式（语音）线索的有效性，突出了自适应多模态模型的必要性。这些结果强调了基于帧的情境的局限性，并证明了多模态信号在现实世界AI任务辅助中的价值。
🔬 方法详解
问题定义：现有基于RGB视频的任务演示学习方法，难以捕捉细粒度的情境信息，例如用户的意图、安全相关的环境因素以及微妙的偏好。这导致视觉语言模型（VLMs）难以理解动作发生的原因，以及如何根据不同的用户进行调整。因此，需要一种能够捕捉更丰富情境信息的方法，以提升任务辅助的性能。
核心思路：MICA的核心思路是利用多模态信息，特别是眼动追踪和语音，来增强对任务演示的理解。眼动追踪可以揭示用户的关注点和潜在意图，而语音则可以提供明确的指令和解释。通过将这两种模态的信息融合在一起，MICA能够更全面地理解任务演示，并为用户提供更有效的帮助。
技术框架：MICA框架包含以下几个主要模块：1) 演示分割：将任务演示分割成有意义的子任务。2) 关键帧和字幕提取：从每个子任务中提取关键帧，并生成相应的字幕，以捕捉细粒度的意图和用户特定的线索。3) 多模态融合：将眼动追踪、语音和视觉信息融合在一起，以构建更丰富的情境表示。4) 视觉问答：利用构建的情境表示，回答用户关于任务的问题。
关键创新：MICA的关键创新在于它将眼动追踪和语音信息整合到任务辅助系统中，从而能够捕捉到传统RGB视频无法捕捉到的细粒度情境信息。此外，MICA还提出了一种新的方法来分割任务演示，并提取关键帧和字幕，从而能够更有效地利用多模态信息。
关键设计：论文中没有明确给出关键参数设置、损失函数、网络结构等具体技术细节。这些细节可能根据具体的实现方式而有所不同，属于实现层面的内容，论文重点在于框架的设计和多模态信息的融合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MICA框架显著提高了任务辅助的响应质量，优于基于帧的检索方法。仅眼动追踪线索就达到了语音性能的93%，而它们的结合产生了最高的准确率。这表明多模态信息对于任务辅助至关重要，并且眼动追踪是一种非常有价值的补充信息。
🎯 应用场景
MICA框架可应用于各种任务辅助场景，例如远程指导、机器人辅助、智能家居等。它可以帮助用户更有效地学习和完成任务，提高工作效率和安全性。未来，MICA可以进一步扩展到更多的模态，例如触觉、力觉等，以提供更全面的任务辅助。
📄 摘要（原文）
A person's demonstration often serves as a key reference for others learning the same task. However, RGB video, the dominant medium for representing these demonstrations, often fails to capture fine-grained contextual cues such as intent, safety-critical environmental factors, and subtle preferences embedded in human behavior. This sensory gap fundamentally limits the ability of Vision Language Models (VLMs) to reason about why actions occur and how they should adapt to individual users. To address this, we introduce MICA (Multimodal Interactive Contextualized Assistance), a framework that improves conversational agents for task assistance by integrating eye gaze and speech cues. MICA segments demonstrations into meaningful sub-tasks and extracts keyframes and captions that capture fine-grained intent and user-specific cues, enabling richer contextual grounding for visual question answering. Evaluations on questions derived from real-time chat-assisted task replication show that multimodal cues significantly improve response quality over frame-based retrieval. Notably, gaze cues alone achieves 93% of speech performance, and their combination yields the highest accuracy. Task type determines the effectiveness of implicit (gaze) vs. explicit (speech) cues, underscoring the need for adaptable multimodal models. These results highlight the limitations of frame-based context and demonstrate the value of multimodal signals for real-world AI task assistance.