GeneralVLA-2: Geometry-Aware Reconstruction and Governed Memory for Robot Planning

📄 arXiv: 2606.17480v1 📥 PDF

作者: Haoyu Wang, Guoqing Ma, Zeyu Zhang, Yandong Guo, Boxin Shi, Hao Tang

分类: cs.CV, cs.RO

发布日期: 2026-06-16

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

提出GeoFuse-MV3D与知识库升级以解决机器人规划中的重建与记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 几何重建 机器人规划 视觉-语言系统 长期记忆 多视角观测 知识库管理 物体识别 深度学习

📋 核心要点

  1. 现有方法在物体重建中存在虚幻姿态和几何信息不足的问题，影响机器人轨迹规划的可靠性。
  2. 提出GeoFuse-MV3D，通过几何先验引导的重建方法，结合多视角观测，提升物体重建的稳定性和准确性。
  3. 实验结果显示，GeoFuse-MV3D在重建精度上相较于MV-SAM3D基线减少了2.20%的CD和2.02%的LPIPS，同时PSNR和SSIM分别提高了2.36%和1.03%。

📝 摘要（中文）

通用视觉-语言-动作系统需要以物体为中心的3D证据和可重用的操作经验来规划可靠的机器人轨迹。GeneralVLA提供了一个分层接口，将语言和RGB-D观测转换为3D末端执行器路径，但仍存在两个瓶颈。首先，单目SAM3D风格的物体重建可能会产生虚幻的姿态和未见几何，而在可校准的多视角观测下，操作受益于稳定的物体形状。其次，原始知识库主要检索语义相似的片段并附加新知识，这使得控制记忆质量、冲突、置信度和几何相关性变得困难。为了解决第一个挑战，本文引入了GeoFuse-MV3D，一个几何先验引导的MV-SAM3D重建分支。为了解决第二个挑战，我们将知识库升级为一个受控的长期记忆系统，具有明确的质量、置信度、生命周期、验证者和冲突元数据。最后，我们在GSO-30上评估重建分支，在Terminal-Bench 2.0和SWE-Bench Verified上评估记忆模块。

🔬 方法详解

问题定义：本文旨在解决现有单目SAM3D风格物体重建中存在的虚幻姿态和几何信息不足的问题，同时提升机器人规划的可靠性。现有知识库在控制记忆质量和冲突方面也存在不足。

核心思路：论文提出GeoFuse-MV3D，通过几何先验引导的重建方法，结合多视角观测来验证外部几何线索，确保重建的稳定性和准确性。同时，升级知识库为受控的长期记忆系统，以提高记忆的质量和检索的精度。

技术框架：整体架构包括GeoFuse-MV3D重建分支和升级后的知识库模块。重建分支通过输入视图掩码验证几何线索，应用软视觉外壳支持，进行轴向精细化处理。知识库模块则引入了质量、置信度等元数据，提升记忆的管理能力。

关键创新：GeoFuse-MV3D的核心创新在于其几何先验引导的重建方法，能够在保留外观的同时，仅融合几何信息，显著提高了重建的准确性。知识库的升级则使得记忆管理更加精细化，能够有效控制冲突和质量。

关键设计：在重建过程中，采用了多视角观测和软视觉外壳支持的结合，确保了几何信息的准确性。知识库的设计中，明确了记忆的生命周期和验证者，增强了系统的可控性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GeoFuse-MV3D在GSO-30数据集上相较于MV-SAM3D基线减少了2.20%的CD和2.02%的LPIPS，同时PSNR和SSIM分别提高了2.36%和1.03%。知识库在Terminal-Bench SR上提升了4.53%，在SWE-Bench的解决率上提升了3.73%，同时减少了AS的值。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过提升机器人在复杂环境中的操作能力和规划效率，能够推动智能机器人在实际应用中的广泛部署，提升生产力和安全性。

📄 摘要（原文）

Generalist vision-language-action systems need object-centric 3D evidence and reusable manipulation experience to plan reliable robot trajectories. GeneralVLA provides a hierarchical interface for converting language and RGB-D observations into 3D end-effector paths, but two bottlenecks remain. First, monocular SAM3D-style object reconstruction can hallucinate pose and unseen geometry, while manipulation benefits from stable object shape when calibrated multi-view observations are available. Second, the original KnowledgeBank mainly retrieves semantically similar snippets and appends new knowledge, which makes it difficult to control memory quality, conflicts, confidence, and geometric relevance. To address the first challenge, we introduce GeoFuse-MV3D, a geometry-prior-guided MV-SAM3D reconstruction branch that verifies external geometry cues with input-view masks, applies soft visual-hull support, performs axis-wise refinement, and fuses only geometry while preserving appearance. To address the second challenge, we upgrade KnowledgeBank into a governed long-term memory system with explicit quality, confidence, lifecycle, verifier, and conflict metadata, together with precision-oriented retrieval. Finally, we evaluate the reconstruction branch on GSO-30 and the memory module on Terminal-Bench 2.0 and SWE-Bench Verified; GeoFuse-MV3D improves over the MV-SAM3D baseline by reducing CD and LPIPS by 2.20% and 2.02% while increasing PSNR and SSIM by 2.36% and 1.03%, and KnowledgeBank improves over ReasoningBank by 4.53% on Terminal-Bench SR and 3.73% on SWE-Bench resolve rate, while reducing AS by 4.95% and 5.65%, respectively. Code: https://github.com/AIGeeksGroup/GeneralVLA-2. Website: https://aigeeksgroup.github.io/GeneralVLA-2.