Zhengrong-Spatial-Aware 1.0: Advancing 3D Multimodal Intelligence

📄 arXiv: 2610.37216v1 📥 PDF

作者: Yu Zhang, Xiaogang Wang, Yuhang Cheng, Jingrui Li, Wenbo Chen

分类: cs.CV

发布日期: 2026-10-27

备注: 6 pages, 3 figures, 4 tables. Technical report

💡 一句话要点

提出Zhengrong-Spatial-Aware 1.0以解决3D多模态智能问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉问答 多模态适应 空间推理 QLoRA 模型微调

📋 核心要点

  1. 现有的3D视觉问答方法在空间理解和多模态适应方面存在显著不足，导致准确率低下。
  2. 论文提出了两条端到端的多模态适应管道，分别针对HiSpatial-3B和Qwen3-VL进行优化，以提升3D空间推理能力。
  3. 实验结果显示，经过微调后，HiSpatial的准确率从1.73%提升至79.89%，Qwen3-VL-8B的准确率从20.74%提升至45.27%。

📝 摘要（中文）

本报告展示了针对自定义空间数据集的3D视觉问答的两条端到端多模态适应管道的实现与验证。第一条管道对HiSpatial-3B进行微调，利用度量尺度的3D点图增强RGB观测；第二条管道通过基于QLoRA的监督微调适应Qwen3-VL。完成的工程堆栈涵盖数据集转换、图像标注对齐、单目几何预处理、指令构建、混合域训练、检查点管理、批量推理和自动评估。在目标空间基准上，HiSpatial适应将整体准确率从微调前的1.73%提高到79.89%。Qwen3-VL管道同样实现了端到端的适应，结果显示Qwen3-VL-8B的准确率从20.74%提升至45.27%。

🔬 方法详解

问题定义：本论文旨在解决现有3D视觉问答系统在空间理解和多模态适应方面的不足，特别是在准确率和泛化能力方面的挑战。

核心思路：论文通过构建两条端到端的多模态适应管道，分别对HiSpatial-3B和Qwen3-VL进行优化，利用3D点图和QLoRA技术提升模型的空间推理能力。

技术框架：整体架构包括数据集转换、图像标注对齐、单目几何预处理、指令构建、混合域训练、检查点管理、批量推理和自动评估等多个模块，形成完整的工程堆栈。

关键创新：最重要的技术创新在于提出了基于QLoRA的监督微调方法，使得模型在保持多模态能力的同时，能够有效适应特定的空间任务。

关键设计：在设计中，采用了混合域训练策略，设置了适当的损失函数和网络结构，以确保模型在不同数据集上的泛化能力和准确性。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，HiSpatial适应的准确率从1.73%提升至79.89%，而Qwen3-VL-8B的准确率从20.74%提升至45.27%。这些显著的提升表明了所提出方法的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等，能够为这些领域提供更强的空间理解和多模态交互能力，提升人机协作的效率与准确性。未来，该技术有望推动更多基于3D空间推理的智能应用的发展。

📄 摘要（原文）

This report presents the implementation and validation of two end-to-end multimodal adaptation pipelines for 3D-aware visual question answering on a custom spatial dataset. The first pipeline fine-tunes HiSpatial-3B, which augments RGB observations with metric-scale 3D point maps; the second adapts Qwen3-VL through memory-efficient QLoRA-based supervised fine-tuning. The completed engineering stack covers dataset conversion, image-annotation alignment, monocular geometry preprocessing, instruction construction, mixed-domain training, checkpoint management, batch inference, and automated evaluation. On the target spatial benchmark, HiSpatial adaptation increases overall accuracy from 1.73% before fine-tuning to 79.89% at 3,600 steps. On a separately collected styled split, accuracy improves from 14.9% to 55.1%, indicating transfer beyond the original training set. The Qwen3-VL pipeline is likewise implemented end-to-end for both 8B- and 32B-scale models using mixed-domain QLoRA adaptation. The resulting accuracy improves from 20.74% to 45.27% for Qwen3-VL-8B and from 30.79% to 47.60% for Qwen3-VL-32B. Together, these results establish two complementary and reproducible adaptation pipelines for geometry-aware and general-purpose multimodal spatial reasoning. These results establish a reproducible engineering foundation for subsequent work on metric 3D reasoning, spatial grounding, and domain-adapted multimodal systems, while also identifying training-data composition as a central factor in preserving general multimodal capability during specialization.