FurnitureVLA: Learning Long-Horizon Bimanual Furniture Assembly with Vision-Language-Action Model

📄 arXiv: 2607.01212v1 📥 PDF

作者: Chenyang Ma, Yue Yang, Radu Corcodel, Siddarth Jain, Andrew Wu, Chiori Hori, Diego Romeres

分类: cs.RO, cs.AI

发布日期: 2026-07-01

备注: Project Page: https://dannymcy.github.io/furniturevla/

💡 一句话要点

提出FurnitureVLA以解决真实规模双手家具组装问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双手操作 家具组装 视觉-语言-动作模型 长时间任务 自动化 机器人技术 仿真评估

📋 核心要点

  1. 现有的机器人家具组装研究主要集中在玩具规模或单臂操作，缺乏对真实规模双手操作的系统性研究。
  2. 论文提出FurnitureVLA，通过视觉-语言-动作模型，解决了长时间组装任务中的自动子任务转换和累积误差问题。
  3. 实验结果显示，FurnitureVLA在三种家具类型上的平均仿真成功率从48%提升至80%，并在最困难任务上仅下降16%。

📝 摘要（中文）

当前机器人家具组装的研究主要集中在玩具规模或单臂操作上。我们提出了FurnitureVLA，这是第一个系统性研究真实规模双手家具组装的工作，采用视觉-语言-动作模型（VLA）。我们对任务进行了形式化，开发了可扩展的仿真管道用于专家数据生成和评估，并构建了一个虚拟现实远程操作系统，以便单操作员双手控制，收集高质量的真实世界演示。为了解决长达7个子任务和1550个控制步骤的极端长时间组装问题，我们提出了一种进度增强的VLA，经过语义基础子任务的微调，能够联合预测动作和连续进度信号，从而实现自动子任务转换并减少推理过程中的累积误差。FurnitureVLA在三种家具类型上的平均仿真成功率从48%提升至80%，设计因素研究带来了额外21%的提升。我们在真实的Kinova Gen3平台上进行了验证，最困难任务的成功率仅下降16%。

🔬 方法详解

问题定义：本论文旨在解决真实规模双手家具组装中的长时间任务管理和操作精度问题。现有方法多集中于玩具规模或单臂操作，无法有效应对复杂的多步骤组装任务。

核心思路：提出一种进度增强的视觉-语言-动作模型（VLA），通过微调语义基础子任务，联合预测动作和进度信号，以实现自动子任务转换，降低推理过程中的累积误差。

技术框架：整体架构包括数据生成、模型训练和评估三个主要模块。首先，通过可扩展的仿真管道生成专家数据；其次，训练VLA模型以学习动作和进度信号；最后，使用虚拟现实系统进行真实世界演示和评估。

关键创新：最重要的创新在于进度增强的VLA设计，能够在长时间组装任务中有效管理子任务的转换，显著减少了推理过程中的错误累积，与传统方法相比具有本质的区别。

关键设计：在模型训练中，采用了特定的损失函数来平衡动作预测和进度信号的学习，同时设计了适应真实操作环境的网络结构，以提高在实际应用中的精度和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FurnitureVLA在三种家具类型上的平均仿真成功率从48%提升至80%，并通过设计因素研究获得额外21%的提升。在真实的Kinova Gen3平台上验证时，最困难任务的成功率仅下降16%，显示出该方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括家具制造、机器人组装和智能家居系统等。通过提升机器人在复杂环境中的操作能力，FurnitureVLA能够推动自动化家具组装的商业化进程，提升生产效率和降低人力成本。未来，该技术还可能扩展到其他需要精细操作的领域，如医疗器械组装和复杂机械维修等。

📄 摘要（原文）

Current work on robot furniture assembly mostly focuses on toy-scale settings or single-arm manipulation. We introduce FurnitureVLA, the first systematic study of real-scale bimanual furniture assembly using Vision-Language-Action models (VLAs). We formalize the task, develop a scalable simulation pipeline for expert data generation and evaluation, and build a VR teleoperation system for single-operator bimanual control to collect high-quality real-world demonstrations. To address extreme long-horizon assembly with up to 7 subtasks and 1550 control steps, we propose a progress-enhanced VLA, finetuned on semantically grounded subtasks, that jointly predicts actions and a continuous progress signal, enabling automatic subtask transitions and reducing compounding errors during inference. We further study perception and control design factors that critically affect precision in real-scale assembly. FurnitureVLA improves average simulation success from 48% to 80% compared to baselines across three furniture types, with an additional 21% gain from our design factor study. We validate on a real Kinova Gen3 platform with only 16% drop on the hardest task.