RTPolicy: Real-Time (32.9 Hz) Multi-View Visuomotor Policy for Robotic Manipulation on Edge Devices

📄 arXiv: 2610.41625v1 📥 PDF

作者: Xianbao Hou, Zehao Ni, Yonghao He, Lingfeng Qian, Xin Shi, Hu Su, Wei Sui, Cong Yang

分类: cs.RO

发布日期: 2026-10-30

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RTPolicy以解决机器人操控中的低延迟问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操控 视觉运动策略 实时推理 多视角融合 视觉压缩 动作生成 闭环控制

📋 核心要点

  1. 现有的视觉运动策略依赖于复杂的视觉骨干，导致推理延迟高，难以满足实时操控需求。
  2. RTPolicy通过视角感知特征融合与视觉压缩，聚合多视角信息，显著提高了推理效率。
  3. 在RoboTwin 2.0的评估中，RTPolicy的成功率达到52.26%，在真实平台上实现了72.0%的成功率，推理延迟仅为30.35毫秒。

📝 摘要（中文）

低推理延迟对于闭环机器人操控至关重要，尤其是在异步推理下，必须及时更新动作以纠正累积偏差。然而，现有的视觉运动策略依赖于计算开销大的视觉骨干，导致推理延迟和部署开销高。本文提出RTPolicy，一种多视角视觉运动策略，能够在高推理效率下实现准确操控。其核心设计结合了视角感知特征融合与视觉压缩，将来自不同摄像头视角的互补信息聚合为紧凑的标记表示。该表示条件化流匹配动作生成器，结合机器人状态和流动时间，从而降低动作生成的成本。大量实验表明，该设计在保留操控所需视觉信息的同时，减少了视觉表示和动作生成的计算成本。

🔬 方法详解

问题定义：本文旨在解决现有视觉运动策略在机器人操控中面临的高推理延迟问题，尤其是在异步推理环境下，如何快速更新动作以纠正偏差是一个挑战。

核心思路：RTPolicy的核心思路是通过视角感知特征融合与视觉压缩技术，将来自多个摄像头的互补信息整合为紧凑的标记表示，从而提高推理效率并降低计算成本。

技术框架：RTPolicy的整体架构包括视角特征提取、特征融合、视觉压缩和动作生成四个主要模块。首先，从多个视角提取特征，然后进行融合和压缩，最后基于压缩后的表示生成动作。

关键创新：RTPolicy的关键创新在于其视角感知特征融合与视觉压缩的结合，这一设计使得系统能够在保持视觉信息完整性的同时，显著降低计算开销，与传统方法相比具有本质区别。

关键设计：在参数设置上，RTPolicy使用了紧凑的标记表示，并通过流匹配机制结合机器人状态和流动时间来优化动作生成过程，确保了高效的推理和准确的操控。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RTPolicy在RoboTwin 2.0的单任务清洁评估中，成功率达到52.26%，超越了最强基线π_0（46.4%）。在真实双手平台上，RTPolicy实现了72.0%的成功率，并在RDK S600上维持了30.35毫秒的实时推理，展现了其卓越的性能和效率。

🎯 应用场景

RTPolicy在机器人操控领域具有广泛的应用潜力，特别是在需要快速反应和高精度的任务中，如工业自动化、服务机器人和无人驾驶等。其高效的推理能力使得机器人能够在动态环境中实时调整策略，从而提升工作效率和安全性。未来，该技术可能推动更多智能机器人在复杂场景中的应用。

📄 摘要（原文）

Low inference latency is critical for closed-loop robotic manipulation, especially under asynchronous inference, where action chunks must be updated promptly to correct accumulated deviations. However, existing visuomotor policies rely on computationally expensive visual backbones, resulting in high inference latency and deployment overhead. In this paper, we propose RTPolicy, a multi-view visuomotor policy that attains accurate manipulation with high inference efficiency. Its core design combines view-aware feature fusion with visual compression to aggregate complementary information across camera views into a compact token representation. The representation conditions a flow-matching action generator with the robot state and flow time, reducing the cost of action generation. Extensive experiments demonstrate that this design reduces the computational cost of visual representation and action generation while preserving visual information required for manipulation. On the RoboTwin~2.0 single-task clean evaluation across 50 tasks, RTPolicy attains a mean success rate of 52.26\%, outperforming the strongest leaderboard baseline $π_0$ (46.4\%). We further evaluate RTPolicy under asynchronous streaming inference on a real bimanual platform, where RTPolicy attains a mean success rate of 72.0\% and sustains real-time inference at 30.35 ms (32.9 Hz) on the RDK S600 and 149.72 ms (6.7 Hz) on the RDK S100, both in INT16. Project Page: https://d-robotics-ai-lab.github.io/RTPolicy.project.