Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views

📄 arXiv: 2606.23557v1 📥 PDF

作者: Jiho Choi, Seonho Lee, Seojeong Park, Hyunjung Shim

分类: cs.CV

发布日期: 2026-06-22

备注: ECCV 2026

💡 一句话要点

提出DR-MV3D框架以解决多视角3D视觉问答中的稀疏监督问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多视角3D视觉问答 密集奖励 地图构建 轨迹规划 自我中心推理 多模态学习 空间推理

📋 核心要点

  1. 现有的MV3D-VQA方法依赖稀疏的答案级监督，导致跨视角推理不一致和视角选择脆弱。
  2. DR-MV3D框架通过提供密集的、可验证的奖励，分解MV3D-VQA为多个可学习的步骤，提升推理过程的稳定性。
  3. 在MindCube、VSI-Bench和BLINK（MV）等数据集上，DR-MV3D在多个强基线之上取得了显著的性能提升。

📝 摘要（中文）

多视角3D视觉问答（MV3D-VQA）需要将部分观察整合为一致的3D场景表示，并选择信息丰富的视角进行多步空间推理。然而，现有的多模态大语言模型通常采用稀疏的答案级监督，导致跨视角推理不一致和视角选择脆弱。本文提出DR-MV3D（Dense Reward for MV3D-VQA），一个基于地图的学习框架，为推理过程提供密集、可验证的奖励。该方法将MV3D-VQA分解为全局地图构建、基于问题的视角轨迹规划和自我中心的答案预测。通过引入全局一致性奖励和局部轨迹奖励，使得中间步骤可学习，优化了整个流程。实验结果显示，DR-MV3D在多个基准数据集上均优于强基线，验证了过程级密集监督的有效性。

🔬 方法详解

问题定义：本文旨在解决多视角3D视觉问答中的稀疏监督问题。现有方法在跨视角推理和视角选择上表现不佳，导致结果不一致和脆弱性。

核心思路：DR-MV3D框架通过提供密集的、可验证的奖励来监督推理过程，分解MV3D-VQA为全局地图构建、视角轨迹规划和答案预测三个步骤，使得每个步骤都可以独立学习。

技术框架：整体架构包括三个主要模块：全局地图构建模块负责生成一致的3D场景表示；视角轨迹规划模块根据问题条件选择有效的视角；答案预测模块则基于自我中心的视角进行最终的答案生成。

关键创新：本文的关键创新在于引入全局一致性奖励和局部轨迹奖励，使得中间步骤的学习不再依赖于手动标注，显著提升了推理的准确性和稳定性。

关键设计：在技术细节上，使用了冻结的3D视觉基础模型（如VGGT + SAM3）来生成几何一致的伪目标，并通过轨迹级策略优化（GRPO）来优化整个流程。

📊 实验亮点

在MindCube、VSI-Bench和BLINK（MV）等数据集上的实验结果表明，DR-MV3D在多个强基线模型上均实现了显著提升，具体性能提升幅度达到XX%（具体数据未知），验证了密集监督在多视角3D推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟现实和增强现实等场景，能够提升机器在复杂环境中的理解和决策能力。未来，该框架可能推动更高效的多模态学习和推理技术的发展，促进人机交互的智能化。

📄 摘要（原文）

Multi-view 3D Visual Question Answering (MV3D-VQA) requires integrating partial observations into a coherent 3D scene representation and selecting informative viewpoints for multi-step spatial reasoning. However, current multimodal LLMs are typically trained with sparse, answer-level supervision, which often yields inconsistent cross-view reasoning and brittle view selection. We present DR-MV3D (Dense Reward for MV3D-VQA), a map-grounded learning framework that provides dense, verifiable rewards to supervise the reasoning process. Our approach decomposes MV3D-VQA into (i) allocentric global map construction, (ii) question-conditioned view-trajectory planning, and (iii) egocentric grounding for answer prediction. To make intermediate steps learnable without manual annotations, we introduce two rewards: a global consistency reward that aligns the predicted map with geometry-consistent pseudo targets from frozen 3D vision foundation models (e.g., VGGT + SAM3), and a local trajectory reward that supervises ordered viewpoint selection. We optimize the full pipeline with trajectory-level policy optimization (GRPO). Experiments on MindCube, VSI-Bench, and BLINK (MV) show that DR-MV3D consistently improves over strong multi-image baselines, supporting the effectiveness of process-level dense supervision for multi-view 3D reasoning.