Agentic Collaborative Cognition for Zero-Shot 3D Understanding
作者: Wenxin Wang, Bo Zhang, Feng Chen, Zixuan Wang, Wen Li, Changsheng Li, Yinjie Lei
分类: cs.CV
发布日期: 2026-06-23
备注: Accepted by ECCV 2026. Project page: https://zhangbo135.github.io/agentic-collaborative-cognition/
💡 一句话要点
提出协作多智能体框架以解决零-shot 3D理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 零-shot学习 3D理解 多智能体系统 认知地图 视角规划 信息整合 机器人视觉 自动驾驶
📋 核心要点
- 现有方法在处理3D理解时受限于视频的有限视角和隐性场景感知，导致信息捕获不足。
- 提出的协作多智能体框架通过规划智能体和感知智能体的协作，优化视角选择和信息整合。
- 实验结果显示，该方法在ScanRefer上提高了11.1%的Acc@0.5，在3D辅助对话上提高了14.6的BLEU-1，SQA3D上提高了2.1的EM。
📝 摘要（中文）
近年来的研究探索了通过将零-shot 3D理解重新定义为视频关键帧理解来实现智能体的能力。然而，现有方法由于视频固有的有限观察视角和对3D场景的隐性感知，面临内在瓶颈。本文提出了一种协作多智能体框架，分配规划智能体进行高层次视角规划，并补充新视角，同时感知智能体将3D场景明确总结为结构化的整体认知图。通过闭环迭代过程，两者协作确定候选对象，直到感知智能体认为已捕获足够信息完成任务。实验表明，该方法在6个基准上实现了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决零-shot 3D理解中的信息捕获不足问题，现有方法由于视频固有的有限观察视角，无法全面感知3D场景。
核心思路：通过引入协作多智能体框架，规划智能体负责高层次视角规划，感知智能体负责将3D场景总结为结构化认知图，从而实现更全面的信息捕获。
技术框架：整体架构包括两个主要模块：规划智能体和感知智能体。规划智能体分析认知图，选择相关视角并补充缺失的关键视角；感知智能体从这些视角记录对象属性，并提供反馈以过滤不匹配的候选对象。
关键创新：最重要的创新在于引入了两个智能体的协作机制，使得信息捕获过程更加高效和全面，解决了现有方法的视角限制问题。
关键设计：在设计中，规划智能体和感知智能体通过一致的实例标识符跨视角整合观察，确保信息的连贯性和完整性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在多个基准测试中表现优异，ScanRefer上提高了11.1%的Acc@0.5，3D辅助对话任务上提高了14.6的BLEU-1，SQA3D任务上提高了2.1的EM，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实等，能够在复杂环境中实现更准确的3D理解，提升智能体的决策能力和交互体验。未来，该方法可能推动多模态学习和智能体协作的进一步发展。
📄 摘要（原文）
Recent advancements have explored agentic zero-shot 3D understanding by reformulating it as video keyframe understanding with Multimodal Large Language Models (MLLMs). However, existing methods face an intrinsic bottleneck due to the finite observation perspectives inherent in videos and the implicit perception of 3D scenes. In this paper, we propose a collaborative multi-agent framework that assigns a Planning Agent to handle high-level viewpoint planning and supplement novel perspectives, and a Perception Agent to explicitly summarize the 3D scene into a structured holistic cognitive map. Specifically, Planning Agent first analyzes this cognitive map to determine query-relevant viewpoints and supplements missing critical perspectives to ensure comprehensive observation. Subsequently, Perception Agent documents object-level attributes from these views by assigning consistent instance identifiers across viewpoints, thereby integrating fragmented observations into the holistic cognitive map. In parallel, it provides feedback to filter out mismatched candidate objects and guide subsequent viewpoint planning. Through this closed-loop iterative process, two agents collaboratively figure out candidates until Perception Agent determines that sufficient information has been captured to complete the task. Extensive experiments demonstrate that our method achieves state-of-the-art performance on 6 benchmarks, with improvements of 11.1\% Acc@0.5 on ScanRefer, 14.6 BLEU-1 on 3D-assisted dialog, and 2.1 EM on SQA3D.