Can Single-View Mesh Reconstruction Generalize to Robot Camera Rotation?
作者: Yu Zhan, Guangcheng Chen, Hanjing Ye, Zhiqin Cheng, Zanjia Tong, Wenjun Xu, Hong Zhang
分类: cs.CV, cs.RO
发布日期: 2026-06-22
💡 一句话要点
提出SAM3D+FoundationPose以解决机器人相机旋转下的单视图网格重建问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 单视图网格重建 机器人视觉 深度估计 重力感知 布局优化 数字双胞胎 相机旋转 物理约束
📋 核心要点
- 现有的单视图网格重建方法在机器人相机旋转时表现不佳，导致3D不一致性和布局漂移。
- 提出SAM3D+FoundationPose的两阶段管道，增强了对相机旋转的鲁棒性，并引入重力感知的优化。
- 在实验中，重力感知优化使得布局方向误差降低了47.1%，显示出显著的性能提升。
📝 摘要（中文）
单视图网格重建从单一观察中预测物体网格和空间布局，适用于快速机器人空间推理和真实到模拟的数字双胞胎。然而，机器人相机在操作和导航过程中自然旋转，现有的单视图重建模型往往依赖于视角相关的先验，可能在分布外的相机旋转下泛化能力较差。本文提出了一种评估协议，通过控制轴向的滚转、俯仰和偏航来追踪单目深度估计、标准物体网格、相机空间布局和物理合理性中的误差。实验结果表明，当前的单视图网格重建方法在机器人相机旋转下泛化能力较差，明确的重力线索对可靠的机器人单视图网格重建至关重要。
🔬 方法详解
问题定义：本文旨在解决现有单视图网格重建方法在机器人相机旋转时的泛化能力不足问题。现有方法依赖于视角相关的先验，导致在相机旋转时出现3D不一致性和布局漂移。
核心思路：论文提出了一种新的两阶段管道SAM3D+FoundationPose，通过引入重力感知优化来提高模型在相机旋转下的鲁棒性。这种设计旨在减少因相机旋转引起的深度估计失真和布局错误。
技术框架：整体架构包括两个主要阶段：第一阶段为SAM3D进行单目深度估计，第二阶段为FoundationPose进行布局优化。通过控制相机的滚转、俯仰和偏航，评估模型在不同旋转下的表现。
关键创新：最重要的创新在于引入了重力感知的优化策略，使得布局方向的误差显著降低。这一方法与传统的单阶段前馈预测方法相比，表现出更高的鲁棒性。
关键设计：在模型设计中，采用了特定的损失函数来平衡深度估计和布局优化的目标，同时在网络结构中引入了重力感知模块，以增强模型对物理约束的理解。实验中还使用了Aria Digital Twin数据集和真实的Franka腕部相机序列进行验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SAM3D+FoundationPose管道在相机旋转下的布局方向误差降低了47.1%，相比于传统的单阶段方法，表现出更强的鲁棒性和准确性。这一发现强调了重力感知在单视图网格重建中的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动导航和虚拟现实等场景。通过提高单视图网格重建在相机旋转下的鲁棒性，能够更好地支持机器人在复杂环境中的自主决策和操作，推动数字双胞胎技术的发展。
📄 摘要（原文）
Single-view mesh reconstruction predicts object meshes and spatial layouts from a single observation, making it attractive for fast robot spatial reasoning and real-to-sim digital twins. However, robot-mounted cameras naturally rotate during manipulation and navigation, while learned single-view reconstruction models often rely on view-dependent priors and may generalize poorly to out-of-distribution camera rotations. Such rotations can introduce 3D inconsistencies, incorrect layouts, and violations of physical constraints, but this failure mode remains under-evaluated. We introduce an evaluation protocol with controlled axis-wise roll, pitch, and yaw sweeps to trace errors in monocular depth estimation (MDE), canonical object meshes, camera-space layout, and physical plausibility within a representative SAM3D-style pipeline. On the Aria Digital Twin dataset and a real Franka wrist-camera sequence, camera rotations induce MDE distortion, layout drift, and collision penetration, while canonical mesh predictions remain relatively stable. A two-stage SAM3D+FoundationPose pipeline is more robust than one-stage feed-forward layout prediction, and our Gravity-Aware Refinement reduces one-stage pairwise ICP-based layout-orientation error by 47.1$\%$. Our evaluation reveals that current single-view mesh reconstruction methods generalize poorly to robot camera rotation, and suggests that explicit gravity cues are important for reliable robotic single-view mesh reconstruction.