GAZEploit: Remote Keystroke Inference Attack by Gaze Estimation from Avatar Views in VR/MR Devices
作者: Hanqiu Wang, Zihao Zhan, Haoqi Shan, Siqi Dai, Max Panoff, Shuo Wang
分类: cs.HC, cs.CV
发布日期: 2024-09-12
备注: 15 pages, 20 figures, Accepted at ACM CCS'24
💡 一句话要点
GAZEploit：利用VR/MR设备中头像视图的视线估计进行远程击键推断攻击
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: VR/MR安全 视线追踪 击键推断 远程攻击 虚拟形象
📋 核心要点
- 现有击键推断攻击依赖手势、头部运动等，而VR/MR设备中基于视线控制的打字方法在一定程度上缓解了这些攻击。
- GAZEploit利用VR/MR应用中虚拟形象的普遍使用，通过远程视线估计来推断用户的击键信息，实现新型攻击。
- 实验表明，GAZEploit在击键推断中实现了超过80%的准确率，并发现多个应用存在漏洞，凸显安全风险。
📝 摘要（中文）
虚拟现实(VR)和混合现实(MR)解决方案的出现和日益普及，彻底改变了我们与数字平台交互的方式。目前高端VR/MR设备（如Apple Vision Pro）中普遍采用的先进的视线控制打字方法，不仅改善了用户体验，还缓解了依赖手势、头部运动和声学侧信道的传统击键推断攻击。然而，这种进步也矛盾地催生了一种新的、可能更隐蔽的网络威胁，即GAZEploit。
本文揭示了GAZEploit，一种基于眼球追踪的新型攻击，专门设计用于利用这些眼球追踪信息，通过利用VR应用中虚拟形象的普遍使用。与现有方法相比，这种广泛的使用显著增强了我们攻击的实用性和可行性。GAZEploit利用这种漏洞远程提取视线估计，并窃取各种打字场景中的敏感击键信息，包括消息、密码、URL、电子邮件和密码。我们涉及30名参与者的研究在击键推断中实现了超过80%的准确率。令人震惊的是，我们的研究还发现Apple Store中超过15个顶级应用程序容易受到GAZEploit攻击，强调了迫切需要加强对这种最先进的VR/MR文本输入方法的安全措施。
🔬 方法详解
问题定义：论文旨在解决VR/MR设备中基于视线追踪的文本输入方法所面临的新的安全威胁。现有击键推断方法难以直接应用于这种场景，而用户虚拟形象的广泛使用为远程视线估计攻击提供了可能。因此，如何利用虚拟形象的视线信息进行有效的击键推断是本文要解决的核心问题。
核心思路：论文的核心思路是利用VR/MR环境中用户虚拟形象的渲染视图，通过分析虚拟形象的视线方向，反推出用户的真实视线位置，进而推断用户正在输入的字符。这种方法巧妙地绕过了直接访问用户眼球追踪数据的限制，利用了VR/MR环境的特性。
技术框架：GAZEploit攻击框架主要包含以下几个阶段：1) 目标用户在VR/MR环境中进行文本输入；2) 攻击者获取用户虚拟形象的渲染视图；3) 攻击者使用视线估计模型从渲染视图中提取视线信息；4) 攻击者利用击键推断模型，根据视线信息推断用户正在输入的字符。整个流程无需直接访问用户的眼球追踪数据，而是通过虚拟形象作为中间媒介。
关键创新：GAZEploit的关键创新在于它是一种远程攻击方法，无需直接访问用户的设备或数据。它利用了VR/MR环境中虚拟形象的普遍存在，将视线估计问题转化为图像分析问题，从而实现了对用户击键行为的推断。这种攻击方式具有隐蔽性和可扩展性，对VR/MR环境下的用户安全构成了新的威胁。
关键设计：论文中视线估计模型和击键推断模型的具体设计细节未知。但可以推测，视线估计模型可能采用了深度学习方法，例如卷积神经网络，从虚拟形象的渲染视图中提取特征，并预测视线方向。击键推断模型可能采用了概率模型或机器学习方法，根据视线方向的概率分布，推断用户最可能输入的字符。
🖼️ 关键图片
📊 实验亮点
GAZEploit攻击在涉及30名参与者的实验中，实现了超过80%的击键推断准确率。研究还发现Apple Store中超过15个顶级应用程序容易受到GAZEploit攻击，表明该攻击具有较高的实际威胁性。这些结果强调了加强VR/MR设备安全措施的紧迫性。
🎯 应用场景
该研究揭示了VR/MR设备中基于视线追踪的文本输入方法所面临的潜在安全风险，可用于指导VR/MR设备制造商和应用开发者加强安全措施，例如对虚拟形象的视线信息进行加密或添加噪声，以防止远程视线估计攻击。此外，该研究也为开发新型的VR/MR安全防御技术提供了思路。
📄 摘要（原文）
The advent and growing popularity of Virtual Reality (VR) and Mixed Reality (MR) solutions have revolutionized the way we interact with digital platforms. The cutting-edge gaze-controlled typing methods, now prevalent in high-end models of these devices, e.g., Apple Vision Pro, have not only improved user experience but also mitigated traditional keystroke inference attacks that relied on hand gestures, head movements and acoustic side-channels. However, this advancement has paradoxically given birth to a new, potentially more insidious cyber threat, GAZEploit. In this paper, we unveil GAZEploit, a novel eye-tracking based attack specifically designed to exploit these eye-tracking information by leveraging the common use of virtual appearances in VR applications. This widespread usage significantly enhances the practicality and feasibility of our attack compared to existing methods. GAZEploit takes advantage of this vulnerability to remotely extract gaze estimations and steal sensitive keystroke information across various typing scenarios-including messages, passwords, URLs, emails, and passcodes. Our research, involving 30 participants, achieved over 80% accuracy in keystroke inference. Alarmingly, our study also identified over 15 top-rated apps in the Apple Store as vulnerable to the GAZEploit attack, emphasizing the urgent need for bolstered security measures for this state-of-the-art VR/MR text entry method.