Trajectory-Level Continuous Action Representation for Robotic Manipulation

📄 arXiv: 2608.24111v1 📥 PDF

作者: Tong Yang, Jingkai Jia, Yuecheng Xu, Xueyao Chen, Chi Zhang, Wenqiang Zhang

分类: cs.RO

发布日期: 2026-08-25

💡 一句话要点

提出CAT框架以解决机器人操作中的动作表示问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 动作表示 轨迹级建模 频率感知 潜在表示 视觉运动系统 自动化控制

📋 核心要点

  1. 现有的视觉运动系统在动作表示上与控制频率纠缠，导致高采样率下的冗余和关键运动建模的局限性。
  2. CAT框架通过将动作轨迹编码为连续潜在标记，结合频率感知的位置编码，确保时间一致性并稳定潜在表示。
  3. 实验结果显示，CAT在多种模型骨干和控制频率下，成功率显著提升，超越了VQ和连续视觉运动基线。

📝 摘要（中文）

本文提出了一种名为CAT的轨迹级连续动作表示框架，旨在解决现有视觉运动系统在动作表示上与控制频率的纠缠及固定时间参数化带来的冗余问题。CAT通过在固定的实时间隔内将动作轨迹编码为一组连续的潜在标记，确保在不同控制频率下的时间一致性。此外，论文引入了频率感知的位置编码，建立了共享的时间坐标系统，并通过轨迹级正则化进一步稳定潜在表示。大量在LIBERO、MimicGen及真实长时间操作任务上的系统评估表明，基于CAT的策略在匹配训练设置下，始终优于竞争的VQ和连续视觉运动基线，显示出在不同控制频率下的成功率显著提升。

🔬 方法详解

问题定义：现有的视觉运动系统在动作表示上存在与控制频率的纠缠，导致在高采样率下出现冗余，并限制了对关键运动的建模能力。

核心思路：CAT框架通过在固定的实时间隔内将动作轨迹编码为连续的潜在标记，避免了对预定义时间参数化的依赖，同时引入频率感知的位置编码以确保时间一致性。

技术框架：CAT的整体架构包括动作轨迹的编码模块、频率感知的位置编码模块和轨迹级正则化模块，确保在不同控制频率下的稳定性和一致性。

关键创新：CAT的主要创新在于其轨迹级连续动作建模方法，避免了传统方法中因时间步密度增加而导致的表示增长问题。

关键设计：在设计中，CAT采用了频率感知的位置编码来建立共享的时间坐标系统，并通过轨迹级正则化来稳定潜在表示，确保在不同控制频率下的表现一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于CAT的策略在LIBERO、MimicGen和真实长时间操作任务中，成功率显著高于竞争的VQ和连续视觉运动基线，具体提升幅度在不同模型骨干和控制频率下均表现出一致的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。CAT框架的设计使得机器人能够在不同的控制频率下有效执行复杂的操作任务，具有较高的实际价值和广泛的应用前景。未来，CAT可能推动更高效的机器人学习和控制系统的发展。

📄 摘要（原文）

We propose CAT, a trajectory-level continuous action representation framework for robotic manipulation. Existing visuomotor systems often entangle action representation with control frequency or rely on fixed temporal parameterizations. This leads to representational redundancy at high sampling rates and limits the modeling of critical motion. CAT instead encodes action trajectories within a fixed real-time interval into a set of continuous latent tokens. To ensure temporal consistency across varying control frequencies, we further incorporate a frequency-aware positional encoding that establishs a shared temporal coordinate system. Trajectory-level regularization further stabilizes the latent representation. This approach prevents representation growth with timestep density and avoids reliance on predefined temporal parameterizations. Extensive system-level evaluations on LIBERO, MimicGen, and real-world long-horizon manipulation tasks demonstrate that CAT-based policies consistently outperform both competitive VQ-based and continuous visuomotor baselines under matched training settings. Across various model backbones and control frequencies, CAT consistently improves success rates. These results highlight the advantages of trajectory-level continuous action modeling for scalable robotic manipulation across varying control rates.