Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models

📄 arXiv: 2608.23478v1 📥 PDF

作者: Sangoh Lee, Sangwoo Mo, Wook-Shin Han

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-08-24

备注: Project page: https://leesangoh.github.io/indi-project-page/

💡 一句话要点

提出意图蒸馏方法以提升视觉语言行动模型的行为理解能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 意图蒸馏 视觉语言行动 行为理解 多模态学习 机器人控制 长时间任务 动作预测

📋 核心要点

  1. 现有的视觉语言行动模型在行为解码时主要依赖行为克隆，未能有效捕捉行为背后的语义目标。
  2. 本文提出意图蒸馏（INDI）方法，通过教师模型提取行为意图，增强动作解码器的预测能力。
  3. 在多个基准测试中，INDI显著提升了模型的成功率，尤其在长时间任务中表现出更好的效果。

📝 摘要（中文）

视觉语言行动（VLA）模型能够将多模态上下文转化为机器人动作，但其动作解码器主要依赖行为克隆训练，未能明确行为背后的目标。为此，本文提出意图蒸馏（INDI）方法，通过冻结的教师模型解析当前观察、指令和执行视频中的行为片段，从而提取行为意图并优化动作预测。实验结果表明，INDI在SimperEnv-Bridge和RoboCasa Kitchen等环境中显著提升了模型的成功率，尤其在长时间任务中表现出更大的优势。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言行动模型在行为解码时未能明确捕捉行为目标的问题。现有方法主要依赖行为克隆，缺乏对行为意图的深入理解。

核心思路：提出意图蒸馏（INDI）方法，通过冻结的教师模型解析当前观察和执行视频中的行为片段，提取行为意图并将其融入动作解码器，从而提升动作预测的准确性。

技术框架：整体架构包括一个冻结的教师视觉语言模型（VLM）和一个可训练的视觉语言行动模型（VLA）。教师模型解析输入的多模态信息，提取意图表示，并将其传递给VLA的中间解码层，以指导动作预测。

关键创新：INDI的核心创新在于明确建模行为的语义目标，通过意图蒸馏使得动作解码器能够更好地理解和组织行为的执行过程。这一方法与传统的行为克隆方法形成鲜明对比。

关键设计：在模型训练中，使用了冻结的教师模型来解析输入数据，设计了特定的损失函数以优化意图表示的提取，并在解码器中引入了中间层的意图表示，以增强对行为目标的捕捉。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，INDI方法在SimperEnv-Bridge上将GR00T-N1.7的成功率从64.3%提升至84.7%，在RoboCasa Kitchen上从64.1%提升至70.3%。在实际任务中，平均成功率从62.0%提升至68.7%，长时间任务的提升幅度达到12.0个百分点，展现了显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能家居和人机交互等场景。通过提升视觉语言行动模型的行为理解能力，能够使机器人在复杂环境中更有效地执行任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language-Action (VLA) models can turn multimodal context into robot actions, but their action decoders are still trained largely by behavior cloning. This supervises which motor command was demonstrated while leaving implicit the local objective served by the behavior under the instruction. Future-based supervision enriches action learning with frames, latent observations, trajectories, or motion representations, but these signals capture particular realizations of what may happen rather than the shared semantic objective of the forthcoming behavior. We propose Intention Distillation (INDI), which distills behavior-level intent into the action decoder. During training, a frozen teacher VLM interprets a demonstrated segment from the current observation, instruction, coarse action summary, and corresponding execution video. From its standard inputs, the deployed VLA recovers the resulting multimodal intent representation at an intermediate decoder layer and uses it to organize action prediction together with representations of how the behavior unfolds and what it achieves. On SimplerEnv-Bridge, INDI improves GR00T-N1.7 from 64.3% to 84.7%, and on RoboCasa Kitchen it improves the controlled GR00T-N1.7 baseline from 64.1% to 70.3%, with consistent gains on $π_{0.5}$ across both benchmarks. In real-world tasks, INDI improves average success from 62.0% to 68.7%, with gains of up to 12.0 pp on longer-horizon tasks. Further analyses show that the recovered latent is used by the decoder, captures behavior objective and execution progress, and organizes downstream predictions in an objective-dependent manner. These results show that action decoders benefit from explicitly modeling the semantic objective of the behavior they generate.