Invertible Neural Network Adapter for One-Step Flow Matching in Robot Manipulation

📄 arXiv: 2606.19194v1 📥 PDF

作者: Yu Zhang, Kangyi Ji, Yongxiang Zou, Rongtao Xu, Feng Zheng, Long Cheng

分类: cs.RO

发布日期: 2026-06-17


💡 一句话要点

提出可逆神经网络适配器以解决机器人操控中的高维动作生成问题

🎯 匹配领域: 支柱一:机器人控制 (Robot Control) 支柱二:RL算法与架构 (RL & Architecture) 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 可逆神经网络 机器人操控 高维动作生成 多模态输入 流匹配 推理效率 动作合成

📋 核心要点

  1. 现有方法在高维动作生成中面临推理复杂性高和准确性不足的挑战,限制了机器人操控的效率和稳定性。
  2. 论文提出的可逆神经网络适配器通过单步去噪过程,在可逆潜在空间内生成高维动作,显著提高了推理效率。
  3. 实验结果表明,该适配器在多种操控任务上表现优越,推理延迟显著降低,且任务性能保持强劲。

📝 摘要(中文)

本文提出了一种可逆神经网络适配器,旨在针对一般机器人操控任务生成精确的高维动作,条件为多模态观测,包括视觉、语言和本体感知输入。该适配器基于流匹配公式,通过单步去噪过程有效约束动作生成轨迹在可逆潜在空间内,从而实现高效且高质量的灵巧动作合成,仅需一次推理步骤。与传统的迭代流匹配策略相比,所提框架显著降低了推理复杂性,同时保持了强大的动作预测准确性和稳定性。通过在多样化的仿真基准和真实机器人平台上进行广泛实验,验证了该方法的有效性。仿真基准测试中,该适配器在多种操控任务上表现出优越或接近最先进的性能。此外,真实世界实验显示,视觉-语言-动作模型的推理效率显著提升,平均推理延迟从110毫秒降低至61毫秒,同时保持了强大的任务性能。

🔬 方法详解

问题定义:本文旨在解决机器人操控中高维动作生成的复杂性和准确性问题。现有方法通常依赖于多次迭代推理,导致推理时间长且不稳定。

核心思路:提出的可逆神经网络适配器通过流匹配公式和单步去噪过程,能够在可逆潜在空间内生成高维动作,从而提高推理效率和准确性。

技术框架:该方法的整体架构包括输入多模态观测(视觉、语言和本体感知),经过适配器处理后,生成高维动作。主要模块包括特征提取、流匹配和动作生成。

关键创新:最重要的创新在于引入可逆神经网络适配器,允许在单步推理中实现高质量的动作合成,与传统的迭代方法相比,显著降低了推理复杂性。

关键设计:在设计中,采用了特定的损失函数以确保生成动作的准确性,同时优化了网络结构以适应多模态输入,确保了高效的特征融合和动作生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示,所提适配器在多种操控任务上表现出优越的性能,推理延迟从110毫秒降低至61毫秒,且在任务执行中保持了强大的准确性和稳定性,展示了显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造、服务机器人等。通过提高机器人在复杂环境中的操控能力,能够显著提升其在实际应用中的效率和灵活性,对未来智能系统的发展具有重要影响。

📄 摘要(原文)

This paper presents an invertible neural network adapter for general robotic manipulation, designed to generate precise high-dimensional actions conditioned on multimodal observations, including visual, linguistic, and proprioceptive inputs, through a one-step denoising process. Built upon a flow-matching formulation, the proposed adapter effectively constrains the action generation trajectory within an invertible latent space, thereby enabling efficient and high-quality dexterous action synthesis with only a single inference step. Compared with conventional iterative flow-matching policies, the proposed framework substantially reduces inference complexity while maintaining strong action prediction accuracy and stability. Extensive experiments are conducted across a diverse set of simulation benchmarks and real-world robotic platforms to evaluate the effectiveness of the proposed method. Across simulation benchmarks, the proposed adapter consistently demonstrates superior or near state-of-the-art performance on a wide range of manipulation tasks. Furthermore, real-world experiments reveal a significant improvement in inference efficiency for vision-language-action (VLA) models, reducing the average inference latency from 110 ms to 61 ms while maintaining strong task performance.