Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation

📄 arXiv: 2606.20118v1 📥 PDF

作者: Jonghoon Lee, Seong Hyeon Park, Byungwoo Jeon, Minha Lee, Jinwoo Shin

分类: cs.RO, cs.LG

发布日期: 2026-06-18

💡 一句话要点

提出Pose6DAug以解决机器人数据增强中的对象交换问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据增强 机器人操作 视觉-语言-动作 多视角一致性 物理合理性 6D姿态 对象交换

📋 核心要点

  1. 现有的VLA策略在处理新颖对象时表现不佳，传统的数据收集方法成本高且效率低。
  2. Pose6DAug通过利用成功的操作回合生成针对失败模式的示范，避免了新的数据收集。
  3. 在新对象上，使用该方法增强的数据使得成功率提高了16.5%，同时保持了对已知对象的性能。

📝 摘要（中文）

视觉-语言-动作（VLA）策略在通用操作中展现出强大的潜力，但在处理新颖或超出训练分布的对象时常常失败。传统的解决方案是为每个失败案例收集多视角遥控数据，但这在成本和时间上都难以扩展。本文提出Pose6DAug，一个基于失败驱动的数据增强框架，利用策略自身成功的操作回合生成针对失败模式的示范，而无需新的数据收集。通过在3D空间中直接操作，确保了几何一致性和物理合理性，从而提升了在新对象上的成功率。实验结果表明，使用该方法进行数据增强后，成功率相较于最先进的基线提高了16.5%。

🔬 方法详解

问题定义：本文旨在解决VLA策略在处理新颖对象时的失败问题，现有方法依赖于昂贵的多视角数据收集，效率低下。

核心思路：Pose6DAug的核心思想是利用策略成功回合中已经存在的物理有效动作轨迹和多视角观察，通过交换操作对象生成新的示范，避免了额外的数据收集。

技术框架：该方法在3D空间中操作，使用一个明确的网格和时间一致的6D姿态轨迹来锚定目标对象，确保所有摄像机视角下的几何一致性。主要模块包括成功回合的提取、对象交换和多视角渲染。

关键创新：Pose6DAug的创新在于其直接在3D空间中进行操作，避免了传统2D视频编辑带来的多视角不一致和物理不合理性，确保了生成示范的物理合理性。

关键设计：在实现中，设计了针对6D姿态的时间一致性约束，确保了在重遮挡和自我中心视角下的渲染质量，同时优化了损失函数以保持物理一致性。

📊 实验亮点

实验结果显示，使用Pose6DAug进行数据增强后，VLA策略在新对象上的成功率提高了16.5%，相较于最先进的基线表现出显著的提升，同时在已知对象上的性能保持不变，证明了该方法的有效性和实用性。

🎯 应用场景

Pose6DAug的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提高VLA策略在新对象上的适应性，该方法能够显著降低数据收集成本，提升机器人在复杂环境中的操作能力，推动智能机器人技术的进步。

📄 摘要（原文）

Vision-language-action (VLA) policies have shown strong potential for general-purpose manipulation, yet they often fail on novel, out-of-distribution objects whose appearance or geometry deviates from the training distribution. The standard remedy is to collect multi-view teleoperation data for every failure case, but this scales poorly in both cost and time. We introduce Pose6DAug, a failure-driven data augmentation framework that turns a policy's own successful episodes into targeted demonstrations for its failure modes, without any new data collection. Our key insight is that each successful episode already encodes a physically valid action trajectory together with calibrated multi-view observations. By swapping only the manipulated object while preserving this trajectory, we obtain new and physically grounded demonstrations. However, naive 2D video editing breaks multi-view consistency and physical plausibility, particularly under heavy occlusion and egocentric viewpoints. Our method instead operates directly in 3D, anchoring the target object with an explicit mesh driven by a temporally coherent 6D pose trajectory, ensuring geometrically consistent renderings across all camera views. Fine-tuning a VLA on data augmented by our method improves success rates by 16.5% relative to the state-of-the-art baseline on novel objects, while preserving in-distribution performance. These results show that multi-view and physically consistent augmentation is a practical path to scalable VLA generalization.