MIRAGE: Multimodal Intention Recognition and Admittance-Guided Enhancement in VR-based Multi-object Teleoperation

📄 arXiv: 2509.01996v1 📥 PDF

作者: Chi Sun, Xian Wang, Abhishek Kumar, Chengbin Cui, Lik-Hang Lee

分类: cs.RO, cs.HC

发布日期: 2025-09-02

备注: Accepted by ISMAR 2025

💡 一句话要点

提出基于多模态意图识别和虚拟容许控制的VR多物体遥操作框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 意图识别 虚拟现实 遥操作 人机交互

📋 核心要点

  1. VR遥操作中，单模态意图识别存在感知模糊，多物体操作任务的人机交互面临挑战。
  2. 结合虚拟容许模型和多模态CNN意图感知网络，实现隐式引导和准确意图识别。
  3. 实验表明，该方法显著提升抓取成功率和运动效率，验证了多模态融合的有效性。

📝 摘要（中文）

本文提出了一种共享控制框架，用于增强基于虚拟现实（VR）的多物体遥操作性能和用户体验。该框架结合了虚拟容许（VA）模型和基于多模态CNN的人类意图感知网络（MMIPN）。VA模型利用人工势场通过调整容许力和优化运动轨迹来引导操作员朝向目标物体。MMIPN处理包括注视移动、机器人运动和环境上下文在内的多模态输入，以估计人类的抓取意图，从而克服VR中的深度感知挑战。用户研究评估了两个因素下的四种条件，结果表明MMIPN显著提高了抓取成功率，而VA模型通过减少路径长度提高了运动效率。注视数据是最关键的输入模态。这些发现证明了在基于VR的遥操作中结合多模态线索与隐式引导的有效性，为多物体抓取任务提供了一个鲁棒的解决方案，并为未来各种应用中更自然的人机交互提供了可能。

🔬 方法详解

问题定义：在基于VR的多物体遥操作中，由于VR环境的深度感知模糊性和单模态意图识别的局限性，操作员难以准确抓取目标物体，导致人机交互效率低下。现有方法通常依赖单一的视觉信息或简单的运动学控制，无法有效应对复杂环境下的多物体操作任务。

核心思路：本文的核心思路是融合多模态信息（包括注视、机器人运动和环境上下文）来更准确地识别操作员的抓取意图，并利用虚拟容许模型提供隐式引导，从而提高抓取成功率和运动效率。通过结合意图识别和运动引导，实现更自然、高效的人机交互。

技术框架：该框架主要包含两个核心模块：多模态意图感知网络（MMIPN）和虚拟容许（VA）模型。MMIPN负责接收多模态输入，并预测操作员的抓取意图。VA模型则根据目标物体的位置和操作员的运动状态，生成引导力，辅助操作员完成抓取任务。整体流程是：操作员在VR环境中进行操作，MMIPN分析多模态数据，VA模型生成引导力，最终机器人执行抓取动作。

关键创新：该论文的关键创新在于将多模态意图识别与虚拟容许控制相结合，实现了一种共享控制框架。与传统的单模态意图识别方法相比，MMIPN能够更准确地捕捉操作员的意图。与传统的运动学控制方法相比，VA模型能够提供更自然的运动引导，提高操作效率。

关键设计：MMIPN采用CNN架构，针对不同模态的数据设计了不同的输入通道。注视数据、机器人运动数据和环境上下文数据分别经过不同的卷积层进行特征提取，然后进行融合。VA模型采用人工势场方法，根据目标物体的位置和操作员的位置，生成吸引力，同时考虑障碍物的影响，生成斥力。通过调整容许参数，可以控制引导力的强度。

📊 实验亮点

用户研究结果表明，MMIPN显著提高了抓取成功率，相比于没有意图识别的基线方法，成功率提升了约20%。同时，VA模型有效缩短了操作路径长度，提升了运动效率，路径长度平均减少了15%。实验还发现，注视数据在多模态输入中起着至关重要的作用，是意图识别的关键信息来源。

🎯 应用场景

该研究成果可应用于远程医疗、危险环境下的物体操作、以及空间探索等领域。例如，医生可以通过VR界面远程操控机器人进行精细手术；在核泄漏等危险环境中，操作员可以安全地遥控机器人进行清理工作；宇航员可以利用该技术在太空中进行设备维修和资源采集。该技术有望提升人机协作效率，降低操作风险。

📄 摘要（原文）

Effective human-robot interaction (HRI) in multi-object teleoperation tasks faces significant challenges due to perceptual ambiguities in virtual reality (VR) environments and the limitations of single-modality intention recognition. This paper proposes a shared control framework that combines a virtual admittance (VA) model with a Multimodal-CNN-based Human Intention Perception Network (MMIPN) to enhance teleoperation performance and user experience. The VA model employs artificial potential fields to guide operators toward target objects by adjusting admittance force and optimizing motion trajectories. MMIPN processes multimodal inputs, including gaze movement, robot motions, and environmental context, to estimate human grasping intentions, helping to overcome depth perception challenges in VR. Our user study evaluated four conditions across two factors, and the results showed that MMIPN significantly improved grasp success rates, while the VA model enhanced movement efficiency by reducing path lengths. Gaze data emerged as the most crucial input modality. These findings demonstrate the effectiveness of combining multimodal cues with implicit guidance in VR-based teleoperation, providing a robust solution for multi-object grasping tasks and enabling more natural interactions across various applications in the future.