VISA: VLM-Guided Instance Semantic Auditing for 3D Occupancy World Models
作者: Ruiqi Xian, Yuehan Xian, Jing Liang, Xuewei Qi, Dinesh Manocha
分类: cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出VISA以解决3D占用世界模型中的语义审计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 3D占用模型 语义审计 VLM 自主驾驶 机器人决策 深度学习 模型优化
📋 核心要点
- 现有方法在处理3D占用模型时，物体和稀有类别错误会导致自由空间解释和碰撞检测的准确性下降。
- VISA通过对每个物体实例进行离线VLM查询，生成结构化审计，增强了占用世界模型的语义准确性。
- 在nuScenes数据集上，VISA显著提高了OccWorld和GaussianWorld的mIoU，验证了其有效性。
📝 摘要（中文）
语义3D占用提供了自主驾驶和机器人决策的体素化世界状态，但物体和稀有类别错误会影响自由空间解释、碰撞检测和时间状态传播。我们展示了一种常见的VLM策略，即将3D体素或物体特征与裁剪-标题嵌入对齐，虽然提高了文本空间相似性，但并未可靠地改善封闭集占用mIoU。为了解决这一不匹配，我们提出了VISA，一种针对现有占用世界模型的训练时语义审计方法。VISA对每个物理对象实例的代表性裁剪进行离线VLM查询，获得结构化审计，包括类别假设、合理混淆、可靠性、属性和证据，并沿物体轨迹传播。审计与匹配的3D物体体素相结合，通过可靠性加权的分类法、属性因子和场景级审计图损失蒸馏为语义logits，而推理保持不变且无需VLM。在nuScenes上，VISA使OccWorld的mIoU从19.06提高到20.05，GaussianWorld从21.36提高到21.91；在GaussianWorld上，物体mIoU从18.18提高到19.16，稀有类别mIoU从15.60提高到16.79。这些结果表明，VLM更适合作为可靠性意识的语义审计者，而不是通用的标题嵌入目标。
🔬 方法详解
问题定义：本论文旨在解决现有3D占用世界模型中由于物体和稀有类别错误导致的语义不准确问题。现有方法在提高文本空间相似性方面表现良好，但未能有效改善封闭集占用的mIoU。
核心思路：VISA的核心思想是通过离线VLM对物体实例进行审计，生成结构化的类别假设和可靠性信息，从而提升占用模型的语义准确性。这样的设计可以有效识别和纠正潜在的错误。
技术框架：VISA的整体架构包括离线VLM查询、结构化审计生成、审计信息传播和语义logits蒸馏四个主要模块。每个模块相互协作，以确保审计信息的有效利用。
关键创新：VISA的主要创新在于将VLM作为可靠性意识的语义审计者，而非简单的特征对齐工具。这一转变使得模型在处理稀有类别时表现更佳。
关键设计：在损失函数设计上，VISA采用了可靠性加权的分类法损失、属性因子损失和场景级审计图损失，以确保审计信息的有效性和准确性。
🖼️ 关键图片
📊 实验亮点
VISA在nuScenes数据集上取得了显著的实验结果，OccWorld的mIoU从19.06提升至20.05，GaussianWorld的mIoU从21.36提升至21.91，物体mIoU和稀有类别mIoU也分别有显著提升，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶、机器人导航和智能城市建设等。通过提高3D占用模型的语义准确性，VISA能够为复杂环境中的决策提供更可靠的支持，进而提升系统的安全性和效率。
📄 摘要（原文）
Semantic 3D occupancy provides a voxelized world state for autonomous driving and robot decision making, but object and rare-class errors can affect free-space interpretation, collision checking, and temporal state propagation. We show that a common VLM strategy, aligning 3D voxel or object features with crop-caption embeddings, improves text-space similarity without reliably improving closed-set occupancy mIoU. Motivated by this mismatch, we propose VISA, a training-time semantic auditing approach for existing occupancy world models. VISA queries an offline VLM on a representative crop of each physical object instance, obtains a structured audit with class hypotheses, plausible confusions, reliability, attributes, and evidence, and propagates it along the object track. The audit is grounded to matched 3D object voxels and distilled into semantic logits through reliability-weighted taxonomy, attribute-factor, and scene-level audit graph losses, while inference remains unchanged and requires no VLM. On nuScenes, averaged across three runs, VISA improves OccWorld from 19.06 to 20.05 mIoU and GaussianWorld from 21.36 to 21.91 mIoU; on GaussianWorld, object mIoU improves from 18.18 to 19.16 and rare-class mIoU from 15.60 to 16.79. These results suggest that VLMs are better suited to closed-set occupancy as reliability-aware semantic auditors than as generic caption-embedding targets.