GIVE: Grounding Human Gestures in Vision-Language-Action Models

📄 arXiv: 2606.13435v1 📥 PDF

作者: Pengfei Liu, Gen Li, Junqiao Fan, Boyu Ma, Jindou Jia, Yang Xiao, Jianfei Yang

分类: cs.RO

发布日期: 2026-06-11

备注: Project page: https://luis-cloud-sg.github.io/GIVE-project/

💡 一句话要点

提出GIVE以解决人机交互中手势理解不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 手势理解 视觉-语言-动作 多模态融合 机器人技术

📋 核心要点

  1. 现有的VLA模型忽视了手势在模糊语言指令下的重要作用，导致意图定位不准确和操作不可靠。
  2. GIVE通过视觉和语义两条路径增强VLA模型的手势理解能力，提升人机交互的准确性和可靠性。
  3. 在真实的HRI实验中，GIVE显著优于基线，目标物体识别准确率提高40%，整体任务成功率提升80%。

📝 摘要（中文）

人类沟通本质上是多模态的，语言常伴随非语言线索如手势以传达意图。然而，现有的视觉-语言-动作（VLA）模型将机器人操作视为纯文本驱动的任务，忽视了手势在机器人与人类交互中的重要作用。为了解决这一挑战，本文提出了GIVE（通过视觉语义增强的手势意图），该方法在不修改架构的情况下增强了预训练的VLA模型对人类手势的理解。GIVE通过视觉路径和语义路径两条互补通道整合手势信息，显著提高了目标物体识别准确率40%和整体任务成功率80%。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在处理模糊语言指令时对手势理解不足的问题，导致意图定位不准确和操作不可靠。

核心思路：GIVE通过引入手势理解，结合视觉和语义信息，增强了VLA模型的意图识别能力，使其能够更好地适应动态的人机交互场景。

技术框架：GIVE的整体架构包括两个主要模块：视觉路径和语义路径。视觉路径通过将手部骨架和指尖射线叠加到机器人观察中，进行明确的物体定位；语义路径则生成高层次的手势描述和任务指令，以实现稳健的意图定位。

关键创新：GIVE的创新在于无须修改现有VLA模型架构，通过引入手势信息来提升模型的意图理解能力，这是与现有方法的本质区别。

关键设计：在实现中，GIVE采用了特定的参数设置和损失函数，以确保视觉和语义信息的有效融合，增强模型的鲁棒性和泛化能力。具体的网络结构和训练细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GIVE在真实的HRI环境中显著优于基线模型，目标物体识别准确率提高了40%，整体任务成功率提升了80%。该方法在面对未见空间布局和多样化参与者时展现出强大的鲁棒性和泛化能力。

🎯 应用场景

GIVE的研究成果在机器人与人类的交互中具有广泛的应用潜力，尤其是在服务机器人、教育机器人和医疗辅助机器人等领域。通过提升机器人对手势的理解能力，GIVE可以显著改善人机交互的自然性和效率，推动智能机器人在实际场景中的应用与普及。

📄 摘要（原文）

Human communication is inherently multimodal, where language is often accompanied by non-verbal cues such as gestures to convey intentions. However, current Vision-Language-Action (VLA) models treat robotic manipulation as a pure text-driven task, overlooking the important role of gestures in Human-Robot Interaction (HRI). This often leads to inaccurate intent grounding and unreliable manipulation when language instructions are ambiguous or underspecified. To address this challenge, we propose GIVE (Gesture Intent via Visual-Semantic Enhancement), an effective approach that enhances pre-trained VLA models with human gesture understanding without architectural modifications. Specifically, GIVE incorporates gesture information through two complementary pathways: a visual pathway that overlays hand skeletons and fingertip rays onto robot observations for explicit object grounding, and a semantic pathway that generates high-level descriptions of human gestures and task instructions for robust intent grounding. By jointly leveraging visual and semantic guidance, GIVE enables VLA policies to better associate gestures with manipulation behaviors and adapt to dynamic interaction intents. In real-world HRI experiments, GIVE substantially outperforms the baseline, improving target object recognition accuracy by 40% and overall task success rate by 80%, while demonstrating strong robustness and generalization to unseen spatial layouts and diverse participants.