ARGUS: Aligning Robot Scene Geometry Under Shifting Views with Large 3D Vision Models

📄 arXiv: 2608.05579v1 📥 PDF

作者: Rishik Sathua, Haonan Chen, Katherine Driggs-Campbell

分类: cs.RO

发布日期: 2026-08-06

备注: Project webpage: https://rsathua.github.io/ARGUS/

💡 一句话要点

提出ARGUS以解决机器人场景几何对视角依赖的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 视觉运动策略 3D视觉模型 多视角学习 图像对齐 自动化技术

📋 核心要点

  1. 现有的机器人操作策略常常将场景几何与视角混合，限制了其在多样化视角数据集上的学习能力。
  2. ARGUS通过将图像观察对齐到规范视角，利用大规模3D视觉模型来改善视觉运动策略的输入。
  3. 实验结果显示，ARGUS在多视角和固定视角的数据集上均优于传统方法，学习效率显著提升。

📝 摘要（中文）

大规模的视觉运动策略在机器人操作任务中表现出色，但现有方法往往将场景几何与视角纠缠在一起，限制了其从多视角数据集中学习的能力。本文提出ARGUS，一个观察预处理管道，利用大规模3D视觉模型将来自任意相机视角的图像观察对齐到规范视角，从而提高下游视觉运动策略的学习效率。实验表明，ARGUS在不同视角多样性的数据集上表现优于以往方法，学习速度提高了4-6倍，显著降低了视觉运动策略的学习负担。

🔬 方法详解

问题定义：本文旨在解决现有机器人操作策略在多视角数据集上学习能力不足的问题。现有方法将场景几何与视角紧密结合，导致无法有效泛化到未见视角。

核心思路：ARGUS的核心思想是通过对图像观察进行预处理，将其对齐到一个规范视角，从而消除视角对学习的影响。这种设计使得策略能够更专注于任务空间中的物体位置。

技术框架：ARGUS的整体架构包括三个主要模块：图像观察获取、视角对齐处理和下游视觉运动策略输入。首先从相机获取图像，然后通过大规模3D视觉模型进行对齐，最后将处理后的图像输入到视觉运动策略中。

关键创新：ARGUS的主要创新在于利用大规模3D视觉模型进行图像对齐，显著降低了视觉运动策略的学习负担。这与传统方法不同，后者通常依赖于固定视角的训练数据。

关键设计：在设计中，ARGUS采用了简化的观察空间，优化了损失函数以适应多样化视角数据，并在网络结构上进行了调整，以提高对齐精度和学习效率。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ARGUS在不同视角多样性的数据集上表现出色，相较于传统方法，学习成功率提高了4-6倍。这一结果表明ARGUS在处理多样化视角数据时的高效性，显著提升了学习速度和策略的泛化能力。

🎯 应用场景

ARGUS的研究成果在机器人操作、自动驾驶、增强现实等领域具有广泛的应用潜力。通过提高机器人在多视角环境中的学习能力，能够更好地适应复杂的操作任务，提升自动化水平和效率。未来，ARGUS的技术可以进一步扩展到其他需要处理多视角数据的智能系统中。

📄 摘要（原文）

Large-scale visuomotor policies have demonstrated impressive performance across a wide range of robot manipulation tasks. However, despite this success, manipulation polices often entangle scene geometry with the corresponding viewpoint, learning where objects lie in an image rather than where it lies in the task space. This entanglement inherently limits the corresponding policy's ability to learn from viewpoint-diverse datasets (ex. DROID, BridgeV2) and generalize beyond the viewpoints captured in their training data. In this work, we present ARGUS, an observation pre-processing pipeline that uses large-scale 3D vision models to align image observations from arbitrary camera viewpoints into a canonical viewpoint before passing it to downstream visuomotor policies. Experiments across training datasets with varying levels of viewpoint diversity, from fixed multi-view camera configurations to highly varied camera placements, show that our method consistently outperforms prior approaches across both limited-view and view-diverse training regimes. In efficiency comparisons, ARGUS demonstrates an ability to learn from view-diverse data, converging to high success rates 4-6x faster than previous methods by leveraging a simplified observation space. Overall, our findings show that leveraging large-scale 3D vision models reduces the learning burden on visuomotor policies, enabling more efficient learning from large-scale, viewpoint-diverse robot datasets.