HumanCLAW: Can Vision-Language Models Act Through a Body?

📄 arXiv: 2607.27180v1 📥 PDF

作者: Siyao Li, Jiawei Gu, Shuai Liu, Kairui Hu, Zekun Li, Linjie Li, Chengcheng Tang, Po-Chen Wu, Ivan Shugurov, Lingni Ma, Michael Zollhoefer, Sizhe An, Abhay Mittal, Amy Zhao, Ranjay Krishna, Manling Li, Ziwei Liu, Chuan Guo

分类: cs.CV, cs.RO

发布日期: 2026-07-29

备注: Project page: https://human-claw.github.io/

💡 一句话要点

提出HumanCLAW框架以评估视觉语言模型的身体动作能力

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视觉语言模型 动作智能 身体自我意识 评估框架 机器人控制 人机交互 虚拟现实

📋 核心要点

  1. 现有的视觉语言模型在通过物理身体执行动作时面临决策与执行的耦合问题，导致评估困难。
  2. 本文提出HumanCLAW框架，通过解耦决策与执行，评估VLM在物理世界中的动作智能。
  3. 在HumanCLAW-Bench上测试的九个最先进VLM模型均未能成功完成任务，显示出当前模型缺乏身体自我意识。

📝 摘要（中文）

评估视觉语言模型（VLM）是否能够通过物理身体进行动作是一个挑战。动作的结果将VLM的决策与运动控制结合在一起。当任务失败时，很难判断是VLM做出了错误选择，还是运动控制器未能执行该选择。本文提出了HumanCLAW，一个评估框架，能够将动作决策与低级执行解耦。在每一步中，VLM发出原子技能命令，该命令被转换为具有真实物理后果的连续全身运动。基于此框架，我们构建了HumanCLAW-Bench，包含1218个长时间、以自我为中心的寻找-导航-交互的实验场景。测试结果显示，当前的VLM在该基准上均未能解决任务，最佳模型的成功率仅为16.8%。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在物理身体动作执行中的评估难题。现有方法无法有效区分模型决策失误与运动控制执行失败的原因。

核心思路：通过HumanCLAW框架，将动作决策与低级执行解耦，使得模型的动作智能可以独立评估。每一步由VLM发出原子技能命令，转化为连续的全身运动。

技术框架：HumanCLAW框架包括VLM发出命令、命令转化为运动、执行运动并反馈结果的多个模块。每个模块的设计旨在确保物理执行的真实感，同时排除执行误差的影响。

关键创新：最重要的创新在于解耦决策与执行，使得模型的动作智能可以被准确测量。这与现有方法的本质区别在于，后者通常将两者混合在一起，难以评估。

关键设计：在框架中，使用了标准的VLM作为命令发出者，命令被转化为短时间的全身运动，考虑了重力和碰撞等物理因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HumanCLAW-Bench上测试的九个最先进的视觉语言模型均未能成功完成任务，最佳模型的成功率仅为16.8%。这表明当前模型在身体自我意识方面存在显著不足，无法有效跟踪自身位置和目标。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、虚拟现实和人机交互等。通过提升视觉语言模型的身体自我意识，未来可以实现更自然的交互和更高效的任务执行，推动智能体在复杂环境中的应用。

📄 摘要（原文）

Evaluating whether a vision-language model (VLM) can act through a physical body is challenging. The outcome of an action couples the VLM's decision with motor control. When a task fails, it is hard to tell whether the VLM made a bad choice or the motor controller simply failed to execute it, e.g., losing balance and falling. In this work, we introduce HumanCLAW, an evaluation framework that decouples action decision-making from low-level execution. At every step, a harnessed, off-the-shelf VLM issues an atomic skill command, and the command is translated into a sub-second chunk of continuous full-body motion with real physical consequences, including gravity and collisions. The body can therefore act freely in the physical world, while execution-side disturbances, balance and motor errors, are factored out. What remains measurable is the model's action intelligence: its moment-to-moment choice of what the body should execute next. Based on this framework, we build HumanCLAW-Bench: 1,218 long-horizon, egocentric find-navigate-interact episodes across 41 indoor scenes. We test nine state-of-the-art VLMs and find that none solves the benchmark; the best model reaches only a 16.8% success rate. Recognizing the target is not the bottleneck. What current VLMs lack is embodied self-awareness: they lose track of their own body, failing to tell where it is, whether it has reached the goal, or whether it has hit an obstacle.