Locomotion in CAVE: Enhancing Immersion through Full-Body Motion

📄 arXiv: 2511.12251v1 📥 PDF

作者: Xiaohui Li, Xiaolong Liu, Zhongchen Shi, Wei Chen, Liang Xie, Meng Gai, Jun Cao, Suxia Zhang, Erwei Yin

分类: cs.GR

发布日期: 2025-11-15

DOI: 10.2139/ssrn.5626635

💡 一句话要点

提出一种基于全身动作识别的CAVE沉浸式漫游框架，提升用户体验

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: CAVE 虚拟现实 动作识别 沉浸式漫游 人体动作捕捉

📋 核心要点

  1. CAVE中的传统漫游方法交互不自然，严重阻碍了用户体验和沉浸感。
  2. 该论文提出一种基于人体动作识别的CAVE漫游框架，将动作类别转换为图形渲染，提升沉浸感。
  3. 用户实验表明，该方法显著提高了虚拟环境中的真实感和自我存在感，并有效减少了晕动症。

📝 摘要（中文）

本文提出了一种用于Cave Automatic Virtual Environment (CAVE)环境的漫游框架，旨在通过优化的人体动作识别技术来增强沉浸式漫游体验。首先，构建了一个四面显示CAVE系统。然后，通过基于Perspective-n-Point的动态方法校准相机，利用获得的相机内参和外参，以及动作识别架构来获取动作类别。最后，将动作类别转换为图形工作站上的渲染显示效果。设计了用户研究来验证该方法的有效性。与传统方法相比，该方法在虚拟环境中的真实感和自我存在感方面有显著提高，并有效减少了晕动症。

🔬 方法详解

问题定义：CAVE环境中的传统漫游方法依赖于不自然的交互方式，例如手柄控制或按钮操作，这与现实世界的行走方式存在较大差异。这种不自然的交互方式会降低用户的沉浸感，并可能导致晕动症等不适症状。因此，需要一种更自然、更直观的漫游方法，使用户能够更真实地在虚拟环境中移动和探索。

核心思路：该论文的核心思路是通过识别用户的全身动作，并将这些动作映射到虚拟环境中的移动。通过捕捉用户的真实动作，例如行走、跑步、跳跃等，并将其转化为虚拟环境中的相应移动，可以提供更自然、更直观的漫游体验。这种方法旨在消除用户与虚拟环境之间的隔阂，增强用户的沉浸感。

技术框架：该框架主要包含以下几个模块：1) CAVE系统构建：搭建一个四面显示CAVE系统，提供沉浸式的视觉体验。2) 相机校准：使用基于Perspective-n-Point (PnP)的动态方法校准相机，获取相机的内参和外参。3) 动作识别：利用动作识别架构，从相机捕捉的图像或视频中识别用户的动作类别。4) 渲染显示：将识别出的动作类别传递给图形工作站，工作站根据动作类别渲染虚拟环境，并在CAVE屏幕上显示。

关键创新：该论文的关键创新在于将全身动作识别技术应用于CAVE环境中的漫游。与传统的基于手柄或按钮的漫游方法相比，该方法能够更自然、更直观地捕捉用户的意图，并将其转化为虚拟环境中的移动。此外，该方法还利用动态相机校准技术，提高了动作识别的准确性和鲁棒性。

关键设计：相机校准采用动态PnP方法，保证相机参数的准确性。动作识别架构的具体网络结构未知，但其输出是动作类别。图形工作站根据动作类别进行渲染，具体渲染细节未知，但目标是提供与用户动作相对应的视觉反馈。

📊 实验亮点

用户研究表明，与传统方法相比，该方法在虚拟环境中的真实感和自我存在感方面有显著提高。此外，该方法还能够有效减少晕动症的发生。具体的性能数据和提升幅度未知，但用户主观评价表明该方法具有显著优势。

🎯 应用场景

该研究成果可应用于虚拟现实游戏、虚拟现实训练、建筑设计可视化、远程协作等领域。通过提供更自然、更沉浸式的漫游体验，可以提高用户在虚拟环境中的参与度和效率，例如，建筑师可以在虚拟环境中漫游并评估设计方案，远程团队成员可以在虚拟环境中进行协作和交流。

📄 摘要（原文）

Cave Automatic Virtual Environment (CAVE) is one of the virtual reality (VR) immersive devices currently used to present virtual environments. However, the locomotion methods in the CAVE are limited by unnatural interaction methods, severely hindering the user experience and immersion in the CAVE. We proposed a locomotion framework for CAVE environments aimed at enhancing the immersive locomotion experience through optimized human motion recognition technology. Firstly, we construct a four-sided display CAVE system, then through the dynamic method based on Perspective-n-Point to calibrate the camera, using the obtained camera intrinsics and extrinsic parameters, and an action recognition architecture to get the action category. At last, transform the action category to a graphical workstation that renders display effects on the screen. We designed a user study to validate the effectiveness of our method. Compared to the traditional methods, our method has significant improvements in realness and self-presence in the virtual environment, effectively reducing motion sickness.