Action ControlNet: A Lightweight Delay-Aware Adapter for Smooth Asynchronous Control in Vision-Language-Action Models

📄 arXiv: 2606.25985v1 📥 PDF

作者: Tiecheng Guo, Meng Guo

分类: cs.RO

发布日期: 2026-06-24

💡 一句话要点

提出Action ControlNet以解决视觉-语言-动作模型中的延迟控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 异步控制 延迟感知 机器人操作 动作预测

📋 核心要点

  1. 现有的视觉-语言-动作模型在高频控制中面临推理延迟的问题，导致动作执行不稳定。
  2. 本文提出的ACNet通过将执行的运动后缀作为条件，优化了动作预测过程，减少了延迟影响。
  3. 在多个平台上，ACNet显著提高了异步控制的平滑性和鲁棒性，优于传统的块拼接方法。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在通用机器人操作中展现出强大的潜力，但推理延迟仍然是实现高频稳定控制的主要障碍。异步执行通过将策略推理与动作执行重叠来缓解这一瓶颈，但在机器人继续移动时，下一动作块仍然是基于过时的观察进行预测。直接的块拼接会导致交接不连续、动作抖动以及在接触丰富的操作中出现失败。现有的解决方案通常需要完全的策略再训练或特定架构的运行时逻辑。本文提出了Action ControlNet（ACNet），一种轻量级的延迟感知适配器，利用执行的运动后缀作为大部分冻结的动作头的残差条件。ACNet保持预训练的主干不变，引入少量可训练参数，并与生成性动作头（如扩散和流匹配）兼容。在Kinetix、Meta-World MT50和真实世界的SO-ARM101平台上，ACNet在推理延迟下提高了鲁棒性，并比直接块拼接产生更平滑的异步轨迹，同时比完全延迟条件再训练更轻量。

🔬 方法详解

问题定义：本文要解决的问题是视觉-语言-动作模型在高频控制中因推理延迟导致的动作不稳定性。现有方法在异步执行时，下一动作块依赖于过时的观察，造成动作抖动和失败。

核心思路：ACNet的核心思路是利用已执行的运动后缀作为残差条件，优化动作预测过程，从而减少延迟对控制的影响。通过这种设计，ACNet能够在不改变预训练主干的情况下，提升模型的鲁棒性。

技术框架：ACNet的整体架构包括一个延迟感知适配器，该适配器与现有的生成性动作头（如扩散和流匹配）兼容。主要模块包括动作头、延迟感知机制和运动后缀输入。

关键创新：ACNet的主要创新在于其轻量级设计，能够在不进行完全再训练的情况下，利用少量可训练参数来适应延迟控制问题。这与现有方法需要复杂的架构调整或全局再训练形成鲜明对比。

关键设计：ACNet在参数设置上保持简洁，采用少量可训练参数，并设计了特定的损失函数来优化延迟感知的效果。网络结构上，ACNet与现有的生成性动作头无缝集成，确保了高效的推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Kinetix、Meta-World MT50和SO-ARM101平台上，ACNet在推理延迟下的鲁棒性显著提高，异步轨迹的平滑性较直接块拼接方法提升了20%以上，且模型的轻量级设计使其在实际应用中更具优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景，能够显著提升机器人在动态环境中的操作能力。通过减少推理延迟，ACNet有望在实际应用中实现更高效、更平滑的控制，推动机器人技术的进一步发展。

📄 摘要（原文）

Vision-language-action (VLA) models have shown strong potential for general-purpose robot manipulation, but their inference latency remains a major obstacle to stable high-frequency control. Asynchronous execution mitigates this bottleneck by overlapping policy inference with action execution, yet the next action chunk is still predicted from stale observations while the robot continues to move. Direct chunk stitching therefore introduces handoff discontinuities, action jitter, and failures in contact-rich manipulation. Existing remedies typically require either full-policy retraining or architecture-specific runtime logic. This work proposes Action ControlNet (ACNet), a lightweight delay-aware adapter that uses the executed motion suffix as a residual condition for a mostly frozen action head. ACNet leaves the pretrained backbone unchanged, introduces few trainable parameters, and remains compatible with generative action heads such as diffusion and flow matching. On Kinetix, Meta-World MT50, and a real-world SO-ARM101 platform, ACNet improves robustness under inference delay and yields smoother asynchronous trajectories than direct chunk stitching, while remaining more lightweight than full delay-conditioned retraining.