Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation

📄 arXiv: 2606.12759 📥 PDF

作者: Yu Guo, Chang Yu, Siyu Ma, Yunuo Chen, Yin Yang, Ying Nian Wu, Chenfanfu Jiang

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出Sparse2Act以解决稀疏3D表示在跨域机器人操作中的局限性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 稀疏3D表示 机器人操作 跨域转移 几何监督 动作对齐 深度学习 点云编码器

📋 核心要点

  1. 现有的稀疏3D编码器往往依赖于特定的下游任务，限制了其在不同领域的适用性。
  2. 提出Sparse2Act框架，通过任务空间的末端执行器动作提供几何监督，训练稀疏3D表示。
  3. 在LIBERO-10基准上，方法实现86.9%的成功率，且在真实世界实验中达到72.5%的成功率，展示了良好的转移能力。

📝 摘要（中文）

明确的3D表示在操作中具有吸引力，因为它们揭示了物体形状、工作空间几何和机器人与物体之间的关系。然而，稀疏3D编码器通常通过下游任务目标进行学习，使得表示与特定数据分布、策略架构和动作参数化紧密相连。本文提出Sparse2Act，一个观察-动作对齐框架，用于预训练稀疏点云编码器。核心思想是使用任务空间末端执行器动作作为几何监督：被掩蔽的稀疏3D标记被训练以围绕与观察配对的工作空间运动组织场景特征。预训练后，仅重用编码器初始化，允许下游策略保留其自身架构和动作空间。在LIBERO-10基准上，我们的方法在500次微调步骤后实现了86.9%的平均成功率。相同的预训练编码器支持LIBERO到Meta-World的跨域转移，在Meta-World-5基准上实现73.4%的平均成功率。实验证明，机器人动作可以为可重用的稀疏3D表示提供紧凑的几何监督。

🔬 方法详解

问题定义：本文旨在解决稀疏3D表示在跨域机器人操作中的局限性，现有方法往往与特定数据分布和任务紧密相关，缺乏通用性。

核心思路：Sparse2Act框架通过使用任务空间的末端执行器动作作为几何监督，训练稀疏3D标记，使其能够围绕工作空间运动组织场景特征，从而增强表示的通用性和适应性。

技术框架：该方法包括两个主要阶段：首先是稀疏点云编码器的预训练阶段，利用动作与观察的配对进行训练；其次是下游策略的微调阶段，重用预训练的编码器初始化，允许不同的策略架构和动作空间。

关键创新：最重要的创新在于引入了动作对齐信号作为几何监督，这一设计使得稀疏3D表示能够在不同的任务和领域中保持有效性，区别于传统方法的单一任务依赖性。

关键设计：在训练过程中，采用了掩蔽的稀疏3D标记，并设计了特定的损失函数来优化动作对齐效果，确保编码器能够有效捕捉到场景特征与动作之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO-10基准上，Sparse2Act方法实现了86.9%的平均成功率，且在Meta-World-5基准上也取得了73.4%的成功率。此外，经过有限的真实数据微调，实际实验中达到了72.5%的成功率，显示出良好的模拟到现实转移能力。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、装配和其他自动化操作任务，能够在不同的环境中实现高效的操作。通过提供可重用的稀疏3D表示，Sparse2Act有助于提升机器人在复杂场景中的适应能力，未来可能推动智能机器人在工业和服务领域的广泛应用。

📄 摘要（原文）

Explicit 3D representations are attractive for manipulation because they expose object shape, workspace geometry, and robot-object relations in metric coordinates. However, sparse 3D encoders are often learned through downstream task objectives, tying the representation to a particular data distribution, policy architecture, and action parameterization. We introduce Sparse2Act, an observation-action alignment framework for pretraining sparse point-cloud encoders. The key idea is to use task-space end-effector actions as geometric supervision: masked sparse 3D tokens are trained to organize scene features around the workspace motion paired with the observation. After pretraining, only the encoder initialization is reused by downstream policies, allowing them to retain their own architectures and action spaces, including joint-space commands. On the LIBERO-10 benchmark, our method achieves 86.9% average success after 500 fine-tuning steps. The same pretrained encoder supports LIBERO-to-Meta-World cross-domain transfer, achieving 73.4% average success on the Meta-World-5 benchmark. Ablations on the objective and decoder capacity show that the gains come from the masked action-alignment signal and remain useful across downstream action decoders. In real-world experiments, simulation pretraining followed by limited real-data fine-tuning achieves an average success rate of 72.5% across four tasks, demonstrating effective sim-to-real transfer. These results suggest that robot actions can provide compact geometric supervision for reusable sparse 3D representations.