Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson
作者: Ekansh Singh, Eva Samuel, Alessandra Reneau, Ryan Schmeelk, Yashvi Gandhi
分类: cs.RO, eess.SY
发布日期: 2026-08-04
备注: 9 pages, 8 tables. Work conducted at the Georgia Tech Research Institute (GTRI), Aerospace, Transportation and Advanced Systems Laboratory (ATAS)
💡 一句话要点
提出基于零拷贝感知的双手操作策略以适应嵌入式硬件
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 双手操作 嵌入式系统 零拷贝感知 GStreamer TensorRT ACT策略 机器人技术
📋 核心要点
- 现有的双手操作策略通常依赖于高性能GPU，导致在嵌入式硬件上的部署成本和性能未被充分评估。
- 本文提出了一种基于零拷贝感知的GStreamer捕获管道，旨在优化嵌入式系统的资源利用率和响应时间。
- 实验结果表明，ACT策略在任务成功率上表现优异，而扩散策略未能收敛，且TensorRT优化显著降低了推理延迟。
📝 摘要（中文）
双手操作策略通常在高性能GPU上进行评估，缺乏在嵌入式硬件上的部署特性。本文展示了一个完全在NVIDIA Jetson Orin Nano Super（8 GB）上运行的双手SO-101系统，使用RTX 3070进行离线训练，并在可变形豆袋的拾取与放置任务中进行评估。通过构建基于NVMM缓冲区的GStreamer捕获管道，消除了三摄像头感知中的冗余主机-设备拷贝，显著提高了CPU利用率和降低了延迟。此外，ACT和扩散策略在相同演示下进行训练，ACT成功收敛，而扩散策略未能收敛。最后，将ACT转换为TensorRT，FP16和INT8精度下的推理延迟显著降低，同时任务成功率保持不变。
🔬 方法详解
问题定义：本文旨在解决双手操作策略在嵌入式硬件上部署时的性能瓶颈，尤其是在资源受限的情况下如何有效利用计算资源。现有方法通常依赖于高性能GPU，导致在嵌入式系统上的应用受限。
核心思路：论文提出了一种基于零拷贝感知的GStreamer捕获管道，旨在消除冗余的数据拷贝，从而提高CPU的利用率和降低延迟。通过这种方式，能够在资源有限的嵌入式系统上实现高效的双手操作策略。
技术框架：整体架构包括三个主要模块：GStreamer捕获管道、ACT策略训练和TensorRT优化。首先，使用GStreamer进行多摄像头数据捕获，接着在离线环境中训练ACT策略，最后将训练好的模型转换为TensorRT以优化推理性能。
关键创新：最重要的技术创新在于实现了零拷贝感知的GStreamer管道，显著提高了CPU的可用性，并通过TensorRT优化了模型推理速度。与传统方法相比，这种设计能够在嵌入式系统上实现更高效的操作。
关键设计：在训练过程中，ACT策略使用了100k的梯度步骤，而扩散策略则使用了200k步骤。模型转换时，FP16和INT8精度下的推理延迟分别降低至17.93 ms和12.65 ms，同时任务成功率在不同精度下保持稳定。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ACT策略在19/20次试验中成功收敛，而扩散策略在200k步骤下未能收敛。通过TensorRT优化，FP16和INT8精度下的推理延迟分别降低了6.4倍和9.0倍，且任务成功率保持稳定，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化生产线和智能家居等场景。通过在资源受限的嵌入式系统上实现高效的双手操作，能够降低成本并提高系统的灵活性和响应速度，具有重要的实际价值和未来影响。
📄 摘要（原文）
Bimanual manipulation policies trained with imitation learning are typically evaluated on workstation or datacenter-class GPUs, leaving the cost of deploying them on embedded hardware largely uncharacterized. We present a bimanual SO-101 system running entirely on an NVIDIA Jetson Orin Nano Super (8 GB), the entry-level tier of NVIDIA's embedded line, using a desktop GPU (RTX 3070) only for offline training, evaluated on pick-and-place of a deformable beanbag. First, we build a GStreamer capture pipeline backed by NVMM buffers that removes redundant host-device copies from three-camera sensing. Contrary to expectation, the conventional path fit the memory budget and dropped no frames; what zero-copy sensing recovers is CPU headroom (peak single-core utilization 98.0% to 77.0%) and worst-case latency (117.31 ms to 101.52 ms). Second, we train ACT and Diffusion Policy on identical demonstrations, each at its own reference budget (100k gradient steps for ACT, 200k for Diffusion Policy). ACT converges to a task-competent policy (19/20 trials) while Diffusion Policy does not converge to a usable one (0/10) even at twice the step count, which we attribute to differing convergence costs rather than an accuracy ceiling. Third, we convert ACT to TensorRT. FP16 reduces mean inference latency from 114.02 ms to 17.93 ms (6.4x) and INT8 to 12.65 ms (9.0x), with task success preserved at all three precisions (19/20, 18/20, 19/20). We report two findings not previously documented for ACT: TensorRT's general-purpose INT8 calibration quantizes the ResNet18 backbone but accepts zero of 145 transformer layers, explaining INT8's negligible size reduction over FP16 (0.9%) despite a further 28% latency gain; and the need for quantization is conditional on ACT's action-chunking configuration, feasible in full precision at n_action_steps = 100 but not at the per-step re-prediction temporal ensembling requires.