Unleashing More Actions via Action Compositional Training for VLA Models

📄 arXiv: 2607.00351v1 📥 PDF

作者: Kai Peng, Jie Lu, Xiaojiang Peng

分类: cs.RO

发布日期: 2026-07-01

💡 一句话要点

提出ACT-VLA以解决VLA模型过拟合问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操作 数据增强 过拟合 策略训练 自动化合成 泛化能力

📋 核心要点

  1. 现有的VLA模型在标准训练中容易过拟合，导致在新场景中泛化能力不足。
  2. 论文提出ACT-VLA，通过合成新演示数据来扩展训练分布，避免人工数据收集的高成本。
  3. 实验结果显示，使用合成数据的策略在操作任务中成功率显著提高，验证了方法的有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中表现出色，但标准训练方法导致模型严重过拟合特定行为模式，无法在分布外场景中泛化。为了解决这一问题，论文提出了ACT-VLA（动作组合训练），一种离线数据增强框架，利用模型的潜在任务表示直接合成新颖且物理有效的演示数据，从而扩展训练分布，减轻过拟合。实验表明，使用合成数据训练的策略在复杂的操作任务中取得了显著更高的成功率，验证了该方法的有效性和可扩展性。

🔬 方法详解

问题定义：论文要解决的问题是VLA模型在训练过程中对特定行为模式的过拟合，导致其在新场景中的泛化能力不足。现有方法依赖于大量高质量的机器人数据收集，这既费时又昂贵。

核心思路：论文的核心思路是通过ACT-VLA框架，利用模型的潜在任务表示合成新的演示数据，进而扩展训练数据集，减少对人工数据的依赖。这样设计的目的是为了提高模型的泛化能力，尤其是在面对新的任务组合时。

技术框架：ACT-VLA框架主要包括数据合成模块和策略训练模块。数据合成模块负责生成新的演示数据，而策略训练模块则利用这些合成数据进行模型训练。整体流程是先从已有任务中提取潜在表示，再基于这些表示生成新任务的演示。

关键创新：最重要的技术创新在于通过自动化的数据合成来扩展训练分布，这与传统方法依赖于人工数据收集形成鲜明对比。此方法不仅提升了数据效率，还降低了成本。

关键设计：在技术细节上，论文设计了特定的损失函数以优化合成数据的物理有效性，并调整了网络结构以更好地捕捉潜在任务表示。此外，参数设置经过精心调试，以确保合成数据的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用ACT-VLA合成数据训练的VLA模型在复杂操作任务中的成功率显著提高，超过了基线模型，成功率提升幅度达到XX%。这一结果验证了合成数据在提高模型泛化能力方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提高VLA模型的泛化能力，能够使机器人在更复杂和多变的环境中执行任务，从而提升其实际应用价值。未来，该方法可能推动更广泛的智能系统在动态环境中的应用。

📄 摘要（原文）

Vision-Language-Action models excel at robotic manipulation, driven by the scale and diversity of demonstration data. However, standard training paradigms often cause VLA models to severely overfit to specific behavioral patterns, rendering them unable to generalize to out-of-distribution scenarios even when those scenarios merely require novel combinations of identical sub-skills. While expanding datasets can mitigate this overfitting, acquiring high-quality robot data remains notoriously labor-intensive and cost-prohibitive. To resolve this impasse without expensive human teleoperation and to truly unleash more actions,i.e., enable VLA models to compose known sub-skills into a much broader set of executable behaviors beyond the original demonstrations-we propose ACT-VLA (Action Compositional Training for VLA Models), an offline data augmentation framework that leverages the model's latent task representations to synthesize novel, physically valid demonstrations directly from existing tasks for policy training. By eliminating additional manual data collection, our method automatically expands the training distribution and mitigates overfitting. We evaluate our approach on challenging manipulation tasks in simulation. Experiments demonstrate that while baseline VLA models generalize poorly due to original distribution overfitting, policies trained with our synthesized data achieve substantially higher success rates, validating that leveraging existing tasks for automated demonstration synthesis provides an effective, scalable, and data-efficient route to broadening VLA generalization.