VISA: VLM-Guided Instance Semantic Auditing for 3D Occupancy World Models

📄 arXiv: 2606.13460v1 📥 PDF

作者: Ruiqi Xian, Yuehan Xian, Jing Liang, Xuewei Qi, Dinesh Manocha

分类: cs.CV

发布日期: 2026-06-11

💡 一句话要点

提出VISA以解决3D占用世界模型中的语义审计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D占用模型 语义审计 VLM 自动驾驶 机器人决策 深度学习 模型鲁棒性

📋 核心要点

  1. 现有方法在3D占用世界模型中存在物体和稀有类别错误，影响决策的准确性。
  2. VISA通过离线VLM查询每个物体实例的裁剪，进行结构化审计，提升语义理解的可靠性。
  3. 在nuScenes数据集上，VISA显著提高了占用mIoU，表明其在语义审计中的有效性。

📝 摘要（中文）

语义3D占用提供了用于自动驾驶和机器人决策的体素化世界状态，但物体和稀有类别错误会影响自由空间解释、碰撞检查和时间状态传播。我们展示了一种常见的VLM策略，通过将3D体素或物体特征与裁剪-标题嵌入对齐，虽然提高了文本空间相似性，但并未可靠地改善闭集占用mIoU。为了解决这一不匹配问题，我们提出了VISA，这是一种针对现有占用世界模型的训练时语义审计方法。VISA对每个物理对象实例的代表性裁剪进行离线VLM查询，获得结构化审计，包括类别假设、可疑混淆、可靠性、属性和证据，并沿物体轨迹传播。审计与匹配的3D物体体素相结合，并通过可靠性加权的分类法、属性因子和场景级审计图损失提炼为语义logits，而推理保持不变且不需要VLM。在nuScenes上，VISA将OccWorld的mIoU从19.06提高到20.05，GaussianWorld从21.36提高到21.91；在GaussianWorld上，物体mIoU从18.18提高到19.16，稀有类别mIoU从15.60提高到16.79。这些结果表明，VLM更适合作为可靠性意识的语义审计者，而不是通用的标题嵌入目标。

🔬 方法详解

问题定义：本论文旨在解决3D占用世界模型中的语义错误，尤其是物体和稀有类别的识别错误，这些错误会影响自动驾驶和机器人决策的准确性。现有方法通过对齐3D特征与文本嵌入来提高相似性，但未能有效改善闭集占用的mIoU。

核心思路：VISA的核心思路是利用离线VLM对每个物体实例进行语义审计，获取结构化的审计信息，包括类别假设和可靠性评估，从而提高模型在语义理解上的准确性。通过这种方式，VISA能够在训练阶段增强模型的鲁棒性，而推理阶段不需要额外的VLM支持。

技术框架：VISA的整体架构包括几个主要模块：首先，对每个物体实例进行裁剪并查询离线VLM；其次，获取审计信息并将其传播到物体轨迹；最后，通过可靠性加权的损失函数将审计信息整合到模型的语义logits中。

关键创新：VISA的主要创新在于将VLM作为可靠性意识的语义审计者，而非简单的特征对齐工具。这一设计使得模型在处理稀有类别时表现更佳，显著提高了语义理解的准确性。

关键设计：在损失函数设计上，VISA采用了可靠性加权的分类法损失、属性因子损失和场景级审计图损失，以确保审计信息的有效整合。此外，模型架构保持不变，确保推理过程的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在nuScenes数据集上，VISA将OccWorld的mIoU从19.06提高到20.05，GaussianWorld从21.36提高到21.91；在GaussianWorld上，物体mIoU从18.18提高到19.16，稀有类别mIoU从15.60提高到16.79。这些结果表明，VISA在语义审计方面的有效性和可靠性。

🎯 应用场景

VISA的研究成果在自动驾驶、机器人导航和智能交通系统等领域具有广泛的应用潜力。通过提高3D占用模型的语义理解能力，VISA能够增强系统在复杂环境中的决策能力，减少碰撞风险，提升安全性和效率。未来，VISA的技术可以进一步扩展到其他需要高精度环境理解的领域，如虚拟现实和增强现实等。

📄 摘要（原文）

Semantic 3D occupancy provides a voxelized world state for autonomous driving and robot decision making, but object and rare-class errors can affect free-space interpretation, collision checking, and temporal state propagation. We show that a common VLM strategy, aligning 3D voxel or object features with crop-caption embeddings, improves text-space similarity without reliably improving closed-set occupancy mIoU. Motivated by this mismatch, we propose VISA, a training-time semantic auditing approach for existing occupancy world models. VISA queries an offline VLM on a representative crop of each physical object instance, obtains a structured audit with class hypotheses, plausible confusions, reliability, attributes, and evidence, and propagates it along the object track. The audit is grounded to matched 3D object voxels and distilled into semantic logits through reliability-weighted taxonomy, attribute-factor, and scene-level audit graph losses, while inference remains unchanged and requires no VLM. On nuScenes, averaged across three runs, VISA improves OccWorld from 19.06 to 20.05 mIoU and GaussianWorld from 21.36 to 21.91 mIoU; on GaussianWorld, object mIoU improves from 18.18 to 19.16 and rare-class mIoU from 15.60 to 16.79. These results suggest that VLMs are better suited to closed-set occupancy as reliability-aware semantic auditors than as generic caption-embedding targets.