Unobtrusive In-Situ Measurement of Behavior Change by Deep Metric Similarity Learning of Motion Patterns
作者: Christian Merz, Lukas Schach, Marie Luisa Fiedler, Jean-Luc Lugrin, Carolin Wienrich, Marc Erich Latoschik
分类: cs.HC, cs.LG
发布日期: 2025-09-04
💡 一句话要点
提出基于深度度量相似性学习的非侵入式行为变化测量方法，用于XR环境中用户行为分析。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: XR 行为变化检测 深度度量学习 运动模式分析 Proteus效应
📋 核心要点
- 现有方法难以在XR环境中非侵入式地量化用户因化身变化而产生的行为改变。
- 利用深度度量相似性学习，将用户运动模式嵌入到高维空间，通过比较嵌入向量来识别行为变化。
- 实验表明，该模型能有效识别不同身高化身引起的行为变化，优于传统运动分析和主观问卷。
📝 摘要（中文）
本文提出了一种非侵入式的原位测量方法，用于检测XR系统中任意体验期间的用户行为变化。这种行为变化通常与Proteus效应或用户在XR中化身的不同身体所引起的身体可供性相关。我们提出了一种基于深度度量相似性学习的生物特征用户模型，该模型使用高维嵌入作为参考向量来识别个体用户的行为变化。我们针对两种替代方法评估了我们的模型：一种基于运动模式中心趋势的（非学习）运动分析，以及各种XR体验中常用的主观体验后具身问卷。在一个受试者内研究中，参与者在化身不同身高（矮、实际身高和高）时执行水果收集任务。主观评估证实了对感知身体图式的有效操纵，而头部和手部运动的（非学习）客观分析揭示了不同条件下的显着差异。我们基于运动数据训练的相似性学习模型成功地识别了化身条件的各种查询和参考数据配对所引发的行为变化。与现有方法相比，该方法具有以下几个优点：1）无需额外用户输入的原位测量，2）适用于各种用例的通用且可扩展的运动分析，3）在个体层面上进行用户特定分析，以及4）通过训练好的模型，可以实时添加和评估用户，以研究化身变化如何影响行为。
🔬 方法详解
问题定义：论文旨在解决XR环境中，如何非侵入式地、客观地测量用户因化身（Avatar）变化而产生的行为改变。现有方法，如主观问卷调查，依赖用户自身感知，可能存在偏差。而传统的运动分析方法，如基于运动模式中心趋势的分析，泛化能力较弱，难以捕捉个体差异。
核心思路：论文的核心思路是利用深度度量学习，将用户的运动模式映射到高维嵌入空间，通过计算嵌入向量之间的相似度来判断行为是否发生改变。这种方法能够捕捉细微的运动差异，并进行用户个性化的行为分析。
技术框架：整体框架包含数据采集、特征提取、模型训练和行为变化检测四个主要阶段。首先，采集用户在XR环境中运动数据（头部和手部运动）。然后，对运动数据进行预处理和特征提取，得到运动模式的表示。接着，使用深度度量学习模型，基于三元组损失（Triplet Loss）进行训练，学习运动模式的嵌入表示。最后，通过比较不同条件下的嵌入向量相似度，判断用户行为是否发生改变。
关键创新：该方法最重要的创新点在于将深度度量学习应用于XR环境中的行为变化检测。与传统方法相比，该方法能够自动学习运动模式的特征表示，无需人工设计特征，具有更强的泛化能力和鲁棒性。此外，该方法能够进行用户个性化的分析，捕捉个体差异。
关键设计：模型采用 Siamese 网络结构，输入为三元组数据（Anchor, Positive, Negative），Anchor 为参考数据，Positive 为与 Anchor 相同条件下的数据，Negative 为与 Anchor 不同条件下的数据。损失函数采用 Triplet Loss，目标是最小化 Anchor 和 Positive 之间的距离，最大化 Anchor 和 Negative 之间的距离。具体的网络结构和参数设置在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够有效识别不同身高化身引起的行为变化。与传统的运动分析方法和主观问卷调查相比，该方法具有更高的准确性和鲁棒性。具体性能数据未知，但论文强调该模型成功识别了各种化身条件下的行为变化。
🎯 应用场景
该研究成果可应用于XR游戏、虚拟社交、康复训练等领域。例如，游戏开发者可以利用该方法评估不同角色设计对玩家行为的影响；康复医生可以监测患者在虚拟环境中的康复进展，并根据行为变化调整治疗方案。该方法为理解和优化XR体验提供了新的工具。
📄 摘要（原文）
This paper introduces an unobtrusive in-situ measurement method to detect user behavior changes during arbitrary exposures in XR systems. Here, such behavior changes are typically associated with the Proteus effect or bodily affordances elicited by different avatars that the users embody in XR. We present a biometric user model based on deep metric similarity learning, which uses high-dimensional embeddings as reference vectors to identify behavior changes of individual users. We evaluate our model against two alternative approaches: a (non-learned) motion analysis based on central tendencies of movement patterns and subjective post-exposure embodiment questionnaires frequently used in various XR exposures. In a within-subject study, participants performed a fruit collection task while embodying avatars of different body heights (short, actual-height, and tall). Subjective assessments confirmed the effective manipulation of perceived body schema, while the (non-learned) objective analyses of head and hand movements revealed significant differences across conditions. Our similarity learning model trained on the motion data successfully identified the elicited behavior change for various query and reference data pairings of the avatar conditions. The approach has several advantages in comparison to existing methods: 1) In-situ measurement without additional user input, 2) generalizable and scalable motion analysis for various use cases, 3) user-specific analysis on the individual level, and 4) with a trained model, users can be added and evaluated in real time to study how avatar changes affect behavior.