Generative Tutorial: Towards Live Contextualized Visual Instructions for Physical Tasks
作者: Muzhe Wu, Zuchen Li, Xu Wang, Anhong Guo
分类: cs.HC, cs.AI
发布日期: 2026-09-21
💡 一句话要点
提出生成式教程以解决物理任务中的视觉指导问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 生成式教程 视觉指导 增强现实 物理任务 实时生成 用户体验 任务执行 上下文适应
📋 核心要点
- 现有的视觉指导方法通常缺乏对用户特定环境的适应性，导致用户在执行任务时面临理解和应用的困难。
- 本文提出生成式教程，通过实时生成与用户环境相关的视觉指导，提升用户的任务执行效率和准确性。
- 实验结果表明，使用该系统的参与者在任务表现质量上提高，且对工作空间的对应感和步骤确认时间均有显著改善。
📝 摘要（中文）
物理任务的视觉指导通常是在特定环境中编写，而用户在不同环境中执行时需要将示范的工具、材料和空间关系转化为自己的环境。本文提出了生成式教程的概念框架，旨在实时提供与用户环境和任务流程相适应的视觉指导。通过对15个物理任务的图像和视频生成的评估，识别了现有方法的不足和潜在优势。基于这些发现，构建了一个增强现实原型系统，能够根据观察到的工作空间上下文和预测的视觉结果主动生成目标图像和演示视频。实验结果显示，与预先编写的指导相比，使用该系统的参与者在任务表现质量、工作空间对应感和步骤确认间隔上均有显著提升。
🔬 方法详解
问题定义：本文旨在解决物理任务中视觉指导的适应性不足问题。现有方法往往在特定环境中编写，导致用户在不同环境中执行时难以理解和应用指导内容。
核心思路：生成式教程通过实时生成与用户当前环境和任务流程相匹配的视觉指导，帮助用户更好地理解和执行任务。这种方法能够动态适应用户的实际情况，提升指导的有效性。
技术框架：整体架构包括观察用户的工作空间、生成目标图像和演示视频的模块。系统首先分析用户的环境，然后根据预测的视觉结果生成相应的指导内容。
关键创新：最重要的创新在于实时生成视觉指导，能够根据用户的具体环境和任务动态调整，与传统的静态指导方法形成鲜明对比。
关键设计：系统设计中涉及的关键参数包括生成模型的选择、损失函数的设置以及网络结构的优化，以确保生成内容的准确性和相关性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，参与者在使用生成式教程系统时，任务表现质量提高，工作空间对应感增强，步骤确认时间缩短，具体提升幅度在各项指标上均显著优于传统的预先编写指导。
🎯 应用场景
该研究的潜在应用领域包括教育培训、工业操作指导和家庭维修等场景。通过提供实时、上下文相关的视觉指导，能够显著提升用户在执行物理任务时的效率和准确性，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Visual instructions for physical tasks are typically authored in one context and followed in another, requiring users to translate demonstrated tools, materials, and spatial relationships into their own environment. We introduce Generative Tutorial, a conceptual framework for live visual instruction that depicts intended outcomes and actions within the user's environment and task flow. A formative evaluation of state-of-the-art image and video generation identifies failures and potential benefits across 15 physical tasks. Drawing on these findings, we build an augmented-reality prototype system that proactively generates goal images and demonstration videos using observed workspace context and predicted visual outcomes of preceding actions. A 24-participant lab study found higher task performance quality, greater perceived workspace correspondence, and shorter step-confirmation intervals with the system than with pre-authored guidance. Qualitative findings highlighted how contextual resemblance shapes trust, how generation errors affect interpretation, and how guidance delivery should adapt to users' needs, informing future designs.