4Doodle: Two-handed Gestures for Immersive Sketching of Architectural Models
作者: Fernando Fonseca, Maurício Sousa, Daniel Mendes, Alfredo Ferreira, Joaquim Jorge
分类: cs.HC, cs.CE, cs.GR, cs.MM
发布日期: 2024-05-29 (更新: 2024-07-18)
备注: 9 pages; 15 Figures
💡 一句话要点
提出基于双手的沉浸式建筑模型草图绘制系统4Doodle，提升VR内容创作效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 沉浸式草图绘制 虚拟现实 双手手势交互 建筑模型 三维建模
📋 核心要点
- 现有3D沉浸式草图绘制系统依赖昂贵的CAVE环境，交互空间受限，难以普及。
- 提出4Doodle系统，利用头戴式显示器和双手手势，构建低成本、大空间的沉浸式草图绘制环境。
- 初步实验表明，该系统在建筑和工程领域具有潜力，能够有效支持VR环境下的草图绘制和3D内容创作。
📝 摘要（中文）
针对内容创建和建模的三维沉浸式草图绘制技术已研究多年。然而，该领域的研究主要集中在CAVE类型的场景中，这些设置成本高昂且交互空间有限。本文提出了一种使用头戴式显示器构建更经济的沉浸式环境的方法，允许更大的沉浸感和更大的用户物理移动空间。本文介绍了一个完全沉浸式的环境，使用双手手势在虚拟世界中自由地绘制和创建内容。这种方法可以应用于许多场景，允许人们表达他们的想法或审查现有的设计。为了应对已知的手部运动困难和徒手3D草图绘制的不准确性，我们探索了代理几何体和类似激光的比喻，以直接从模型绘制内容并创建内容表面。我们目前的原型提供了24立方米的移动空间，受房间大小的限制。它通过平移和缩放技术提供了无限的虚拟绘图空间，并且以一小部分成本大于典型的六面CAVE。在与建筑师和工程师进行的初步研究中，我们的系统显示出作为在虚拟现实中进行草图绘制和3D内容创建工具的明显前景，尤其是在双手手势方面。
🔬 方法详解
问题定义：现有三维沉浸式草图绘制系统主要依赖于CAVE等昂贵设备，限制了其应用范围。徒手绘制3D草图存在精度问题，且用户在虚拟空间中的交互方式较为单一，缺乏自然直观的交互手段。
核心思路：利用头戴式显示器（HMD）构建低成本的沉浸式环境，并通过双手手势进行交互，提供更大的自由度和更直观的操作方式。结合代理几何体和激光指示器等技术，辅助用户精确绘制3D草图，克服徒手绘制的局限性。
技术框架：该系统包含以下主要模块：1) 基于HMD的沉浸式显示模块，提供视觉反馈；2) 双手手势识别模块，捕捉用户的手部动作；3) 虚拟环境构建模块，创建可交互的3D空间；4) 草图绘制与编辑模块，支持用户绘制、修改和管理3D模型。整体流程为：用户佩戴HMD进入虚拟环境，通过双手手势进行交互，系统识别手势并执行相应的操作，例如绘制线条、创建几何体、调整模型等。
关键创新：1) 采用双手手势作为主要的交互方式，提升了操作的自然性和效率；2) 引入代理几何体和激光指示器，辅助用户精确绘制3D草图，降低了对用户绘画技能的要求；3) 构建了低成本、大空间的沉浸式草图绘制环境，降低了使用门槛。与现有方法相比，该系统更加注重交互的自然性和易用性，并降低了硬件成本。
关键设计：系统采用常见的VR头显，手势识别模块使用现成的传感器或摄像头。代理几何体可以是简单的立方体或球体，激光指示器模拟激光笔的功能，辅助用户定位和绘制。虚拟空间的平移和缩放功能通过特定的手势触发。具体参数设置和网络结构（如果使用深度学习进行手势识别）在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
初步实验结果表明，建筑师和工程师对该系统表现出浓厚的兴趣，认为其在VR环境下的草图绘制和3D内容创作方面具有很大的潜力。系统提供的双手手势交互方式被认为是自然且高效的。虽然论文中没有提供具体的性能数据，但用户反馈表明该系统在易用性和交互性方面优于传统的3D建模软件。
🎯 应用场景
该研究成果可应用于建筑设计、工程设计、游戏开发、虚拟现实内容创作等领域。建筑师和工程师可以使用该系统快速创建和修改建筑模型，游戏开发者可以利用该系统设计游戏场景，VR内容创作者可以借助该系统构建沉浸式的虚拟体验。未来，该技术有望成为VR/AR领域重要的内容创作工具。
📄 摘要（原文）
Three-dimensional immersive sketching for content creation and modeling has been studied for some time. However, research in this domain mainly focused on CAVE-like scenarios. These setups can be expensive and offer a narrow interaction space. Building more affordable setups using head-mounted displays is possible, allowing greater immersion and a larger space for user physical movements. This paper presents a fully immersive environment using bi-manual gestures to sketch and create content freely in the virtual world. This approach can be applied to many scenarios, allowing people to express their ideas or review existing designs. To cope with known motor difficulties and inaccuracy of freehand 3D sketching, we explore proxy geometry and a laser-like metaphor to draw content directly from models and create content surfaces. Our current prototype offers 24 cubic meters for movement, limited by the room size. It features infinite virtual drawing space through pan and scale techniques and is larger than the typical 6-sided cave at a fraction of the cost. In a preliminary study conducted with architects and engineers, our system showed a clear promise as a tool for sketching and 3D content creation in virtual reality with a great emphasis on bi-manual gestures.