Unobtrusive In-Situ Measurement of Behavior Change by Deep Metric Similarity Learning of Motion Patterns

📄 arXiv: 2509.04174v1 📥 PDF

作者: Christian Merz, Lukas Schach, Marie Luisa Fiedler, Jean-Luc Lugrin, Carolin Wienrich, Marc Erich Latoschik

分类: cs.HC, cs.LG

发布日期: 2025-09-04

💡 一句话要点

提出基于深度度量相似性学习的非侵入式行为变化测量方法，用于XR环境中用户行为分析。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: XR 行为变化检测 深度度量学习 Proteus效应 具身认知

📋 核心要点

  1. 现有方法难以在XR环境中非侵入式地量化用户因化身变化而产生的行为改变，依赖主观问卷或简单运动分析。
  2. 利用深度度量相似性学习，将用户运动模式嵌入到高维空间，通过比较嵌入向量来识别个体用户的行为变化。
  3. 实验表明，该模型能有效识别不同身高化身引起的行为变化，优于传统运动分析和主观问卷调查。

📝 摘要（中文）

本文提出了一种非侵入式的原位测量方法，用于检测XR系统中任意体验期间的用户行为变化。这种行为变化通常与Proteus效应或由用户在XR中体现的不同化身引起的身体可供性相关。我们提出了一种基于深度度量相似性学习的生物特征用户模型，该模型使用高维嵌入作为参考向量来识别个体用户的行为变化。我们针对两种替代方法评估了我们的模型：一种基于运动模式中心趋势的（非学习）运动分析，以及各种XR体验中常用的主观体验后具身问卷。在一个受试者内研究中，参与者在体现不同身高（矮、实际身高和高）的化身时执行水果收集任务。主观评估证实了对感知身体图式的有效操纵，而头部和手部运动的（非学习）客观分析揭示了不同条件下的显著差异。我们基于运动数据训练的相似性学习模型成功地识别了化身条件的各种查询和参考数据配对所引发的行为变化。与现有方法相比，该方法具有以下几个优点：1）无需额外用户输入的原位测量，2）适用于各种用例的通用且可扩展的运动分析，3）对个体层面的用户特定分析，以及4）通过训练好的模型，可以实时添加和评估用户，以研究化身变化如何影响行为。

🔬 方法详解

问题定义：论文旨在解决XR环境中，如何非侵入式、客观地测量用户因化身变化（如身高）而产生的行为改变。现有方法主要依赖主观问卷调查，存在主观性偏差；或者采用简单的运动分析，难以捕捉细微的行为差异。这些方法无法提供用户个体层面的、实时的行为变化分析。

核心思路：核心思路是利用深度度量学习，将用户的运动模式映射到高维嵌入空间，通过计算嵌入向量之间的相似度来量化行为变化。这种方法能够捕捉用户运动模式的细微差异，并进行个体层面的分析。通过学习不同化身条件下的运动模式嵌入，模型可以识别用户在不同化身下的行为变化。

技术框架：整体框架包含数据采集、运动数据预处理、深度度量学习模型训练和行为变化检测四个主要阶段。首先，通过XR系统采集用户在不同化身下的头部和手部运动数据。然后，对运动数据进行预处理，例如平滑和归一化。接着，使用深度度量学习模型，将运动数据映射到高维嵌入空间。最后，通过比较不同化身条件下的嵌入向量，检测用户的行为变化。

关键创新：最重要的技术创新点在于将深度度量学习应用于XR环境中的行为变化检测。与传统的运动分析方法相比，深度度量学习能够学习到更具判别性的运动模式表示，从而更准确地识别行为变化。此外，该方法无需额外用户输入，实现了非侵入式的行为测量。

关键设计：论文使用了三元组损失函数（triplet loss）来训练深度度量学习模型。三元组损失函数的目标是使相同化身条件下的运动模式嵌入更接近，而不同化身条件下的运动模式嵌入更远离。网络结构方面，使用了包含卷积层和全连接层的神经网络，将运动数据映射到高维嵌入空间。具体的网络结构和超参数设置在论文中有详细描述（未知）。

📊 实验亮点

实验结果表明，该模型能够成功识别不同身高化身引起的行为变化。与传统的运动分析方法和主观问卷调查相比，该模型具有更高的准确性和客观性。具体而言，该模型在识别不同化身条件下的行为变化方面，显著优于基于运动模式中心趋势的分析方法（具体提升幅度未知）。主观问卷调查也验证了化身身高对用户感知身体图式的有效操纵。

🎯 应用场景

该研究成果可应用于XR游戏、虚拟社交、康复训练等领域。例如，游戏开发者可以利用该方法实时监测玩家的行为变化，并根据玩家的行为调整游戏难度或提供个性化反馈。在康复训练中，可以监测患者在不同虚拟环境下的运动模式，评估康复效果并制定个性化训练计划。该技术还有助于深入理解具身认知和Proteus效应。

📄 摘要（原文）

This paper introduces an unobtrusive in-situ measurement method to detect user behavior changes during arbitrary exposures in XR systems. Here, such behavior changes are typically associated with the Proteus effect or bodily affordances elicited by different avatars that the users embody in XR. We present a biometric user model based on deep metric similarity learning, which uses high-dimensional embeddings as reference vectors to identify behavior changes of individual users. We evaluate our model against two alternative approaches: a (non-learned) motion analysis based on central tendencies of movement patterns and subjective post-exposure embodiment questionnaires frequently used in various XR exposures. In a within-subject study, participants performed a fruit collection task while embodying avatars of different body heights (short, actual-height, and tall). Subjective assessments confirmed the effective manipulation of perceived body schema, while the (non-learned) objective analyses of head and hand movements revealed significant differences across conditions. Our similarity learning model trained on the motion data successfully identified the elicited behavior change for various query and reference data pairings of the avatar conditions. The approach has several advantages in comparison to existing methods: 1) In-situ measurement without additional user input, 2) generalizable and scalable motion analysis for various use cases, 3) user-specific analysis on the individual level, and 4) with a trained model, users can be added and evaluated in real time to study how avatar changes affect behavior.