Explainable and Resource-Efficient Spatial Reasoning in Multimodal LLMs for Decision-Critical Applications

📄 arXiv: 2607.27145v1 📥 PDF

作者: Piyush Jain, Kousik Dasgupta, Rajarshi Roy, Subarna Tripathi

分类: cs.CV

发布日期: 2026-07-29

备注: 14 pages

💡 一句话要点

提出ByDeWay-V2以解决多模态LLM空间推理不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 空间推理 物体检测 深度学习 决策支持

📋 核心要点

  1. 现有的多模态大型语言模型在空间理解和物体幻觉方面存在明显不足，影响了决策支持的可靠性。
  2. 本文提出ByDeWay-V2，通过结合空间关系上下文和深度线索，增强了模型的空间推理能力。
  3. 在BLINK和VSR基准测试中，ByDeWay-V2在多个MLLM上显著提升了空间推理性能，尤其在Qwen2.5-VL上实现了46%的F1提升。

📝 摘要（中文）

随着多模态大型语言模型（MLLMs）在机器人、具身人工智能和安全监控等决策关键管道中的应用日益增多，其空间判断的模糊性限制了操作员的信任和可审计性。现有方法ByDeWay通过分层深度提示（LDP）框架缓解了幻觉问题，但在处理同一几何平面内的物体间空间关系时仍显不足。本文提出ByDeWay-V2，结合显式空间关系上下文和深度线索，利用开放词汇物体检测器（YOLO-World-L）计算检测物体之间的几何关系，并将其作为结构化空间谓词注入MLLM提示中。实验结果表明，ByDeWay-V2在BLINK空间子集上相较于LDP实现了46%的F1相对提升，并在VSR基准上显著改善了BLIP-Base的空间推理能力。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在空间推理中的模糊性和物体幻觉问题。现有的LDP方法在处理同一几何平面内的物体间空间关系时存在局限性。

核心思路：ByDeWay-V2通过引入显式的空间关系上下文，结合深度线索，以人类可读的谓词形式提供可审计的证据，从而增强模型的空间理解能力。

技术框架：该框架包括三个主要模块：首先，使用YOLO-World-L进行开放词汇物体检测；其次，计算检测物体之间的几何关系；最后，将这些关系作为结构化空间谓词注入到MLLM的提示中。

关键创新：最重要的创新在于将空间关系上下文与深度线索结合，形成了一种新颖的提示结构，显著提高了模型在空间推理任务中的表现。

关键设计：在设计上，框架在CPU上严格控制在40个token的上下文预算内，确保其适用于资源受限的实时决策支持环境。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在BLINK空间子集上，ByDeWay-V2相较于LDP实现了46%的F1相对提升，且在VSR基准上将BLIP-Base的空间推理能力从接近随机表现提升至0.53的竞争性F1，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、智能监控等决策关键场景。通过提高多模态大型语言模型的空间推理能力，能够增强系统的可靠性和安全性，进而推动智能系统在复杂环境中的应用和发展。

📄 摘要（原文）

As Multimodal Large Language Models (MLLMs) are increasingly deployed in decision-critical pipelines such as robotics, embodied AI, and safety monitoring, the opacity of their spatial judgments limits operator trust and auditability. MLLMs demonstrate strong reasoning but often struggle with fine-grained spatial understanding and object hallucination. Prior work, ByDeWay, introduced Layered-Depth-Based Prompting (LDP), a training-free framework that mitigates hallucinations by structuring prompts using monocular depth estimation. However, coarse depth layering falls short in resolving object-to-object spatial relationships within the same geometric plane, such as projective ("left of", "above") and topological ("inside", "touching") relations. We propose ByDeWay-V2, which integrates explicit spatial relational context alongside depth cues, expressed as human-readable predicates that serve as auditable evidence for downstream decision support. Using an open-vocabulary object detector (YOLO-World-L), our framework computes pairwise geometric relations between detected objects and injects them as structured spatial predicates into the MLLM prompt, bridging 3D scene depth and 2D spatial semantics without any training. We evaluate ByDeWay-V2 on the Visual Spatial Reasoning (VSR) and BLINK benchmarks across multiple MLLMs, with hallucination grounding assessed via POPE. On the BLINK spatial subset, ByDeWay-V2 achieves a 46 percent relative F1 improvement over LDP for Qwen2.5-VL, and recovers BLIP-Base's spatial reasoning on VSR from near-random performance to a competitive F1 of 0.53. Our lightest configuration operates under a strict 40-token context budget on CPU, showing the framework's suitability for resource-constrained, real-time decision-support settings.