Direct Action-Manifold Modeling for Efficient and Robust Bimanual Manipulation

📄 arXiv: 2610.41643v1 📥 PDF

作者: Hongren Wang, Mingyu You, Zihan Li, Zhipeng Wang, Shuo Jiang, Bin He

分类: cs.RO

发布日期: 2026-10-30

💡 一句话要点

提出直接动作流形建模以解决双手操作的效率与鲁棒性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双手操作 动作生成 视觉运动策略 机器人技术 高效推理

📋 核心要点

  1. 现有的视觉运动策略在生成多模态动作时需要迭代处理，导致延迟和执行不匹配的问题。
  2. 本文提出的DMAT通过直接建模观察条件下的关节动作块，简化了动作生成过程，实现了单步推理。
  3. 实验结果显示，DMAT在成功率和生成速度上均显著优于现有方法，提升幅度达到129.1%和2.06倍。

📝 摘要（中文）

扩散和流匹配的视觉运动策略需要迭代去噪或数值积分来生成多模态动作，导致延迟和执行不匹配。本文提出了一种新方法：在视觉和本体感知的条件下，双手动作集中在结构化的观察依赖的关节动作空间中，使得动作目标更直接可建模。我们提出的直接流形动作变换器（DMAT）将动作生成重构为从随机插值中直接建模干净的观察条件关节空间动作块，从而实现单步推理，避免了迭代生成推理或辅助轨迹平滑程序的依赖。DMAT在567个标准和分布外试验中表现优于改进的3D扩散策略（IDP3）和DiTFlow3D，成功率分别提高了129.1%和95.7%，并且在50 N干预下保持鲁棒性，生成动作块的速度分别提高了2.06倍和1.34倍。

🔬 方法详解

问题定义：本文旨在解决现有视觉运动策略在多模态动作生成中的延迟和执行不匹配问题，现有方法依赖于迭代去噪和数值积分，效率低下。

核心思路：DMAT通过直接建模观察条件下的关节动作块，避免了复杂的生成过程，简化了推理步骤，使得动作生成更加高效和直接。

技术框架：DMAT的整体架构包括局部3D几何结构用于锚定预测，状态一致的谱时间细化（STR）用于调和预测块与本体感知，确保生成的动作块与实际感知一致。

关键创新：DMAT的核心创新在于将动作生成视为直接建模观察条件下的动作块，而非依赖于复杂的生成模型，这一方法显著提高了生成效率和鲁棒性。

关键设计：在DMAT中，采用了局部3D几何结构来增强空间结构的预测，同时引入STR来抑制高频残差，确保生成的动作块在动态环境中保持一致性。具体的损失函数和网络结构设计未在摘要中详细说明，需参考原文获取更多细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DMAT在567个标准和分布外试验中表现优异，成功率相较于IDP3和DiTFlow3D分别提高了129.1%和95.7%。此外，DMAT生成动作块的速度分别提高了2.06倍和1.34倍，展现出卓越的效率和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括机器人双手操作、自动化装配、以及人机协作等场景。通过提高双手操作的效率和鲁棒性，DMAT能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Diffusion and flow matching visuomotor policies require iterative denoising or numerical integration for multimodal action generation, introducing latency and execution mismatch. We instead consider a different formulation: conditioned on vision and proprioception, demonstrated bimanual action chunks concentrate in a structured observation-dependent region of joint-action space, making the action target more direct to model than the generative process. Based on this view, we propose the Direct Manifold Action Transformer (DMAT), which reformulates action generation as the direct modeling of clean, observation-conditioned joint-space action chunks from stochastic interpolants, thereby enabling single-step inference without relying on iterative generative inference or auxiliary trajectory-straightening procedures. Within DMAT, local 3D geometry anchors predictions to spatial structure, while State-Consistent Spectral-Time Refinement (STR) reconciles predicted chunks with proprioception and suppresses high-frequency residuals. Across 567 standard and out-of-distribution (OOD) trials per method, DMAT outperformed Improved 3D Diffusion Policy (IDP3) and DiTFlow3D in aggregate success rate, achieving relative improvements of 129.1% and 95.7%, respectively, while generating action chunks 2.06x and 1.34x faster and remaining robust under repeated 50 N interventions. These results pave the way for a novel generative paradigm for efficient and robust bimanual manipulation.