HiSC: Hierarchical Spatial Clustering Token Compression for Efficient 3D Scene Understanding

📄 arXiv: 2608.04610v1 📥 PDF

作者: Jiuhe Qu, Yingping Liang, Ying Fu

分类: cs.CV

发布日期: 2026-08-05

备注: Accepted by ACM MM 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出HiSC以解决3D场景理解中的冗余问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D视觉理解 标记压缩 空间聚类 视觉语言模型 深度学习

📋 核心要点

  1. 现有的3D视觉语言模型面临标记冗余问题，导致计算成本高且细节丢失。
  2. HiSC通过层次空间聚类标记压缩，利用几何和语义线索组织标记，提升了压缩效率。
  3. 在多项3D推理基准测试中，HiSC实现了90%以上的标记减少，且性能降幅极小。

📝 摘要（中文）

3D视觉语言模型（3D VLMs）在多视角场景中进行空间推理，但由于重复观察和大面积无信息区域，导致了显著的标记冗余，从而增加了计算成本。尽管视觉标记压缩在加速2D VLMs方面表现出色，但未能捕捉3D场景的结构特性，导致空间覆盖不全和细节丢失。本文提出了HiSC，一个无训练的层次空间聚类标记压缩框架，通过将标记组织成空间聚类来提升标记压缩的效率。我们引入了空间图合并策略（SGraM）和空间聚类修剪范式（SCluP），在保持对象实例完整性的同时，保留重要区域的细节。实验结果表明，HiSC在高视觉标记修剪比下表现出色，实现了90%以上的标记减少，且性能降幅最小。

🔬 方法详解

问题定义：本文旨在解决3D视觉语言模型中的标记冗余问题，现有方法未能有效捕捉3D场景的结构特性，导致空间覆盖不全和细节丢失。

核心思路：HiSC通过层次空间聚类的方式进行标记压缩，提升了标记处理的效率，避免了传统方法在标记选择上的局限性。

技术框架：HiSC的整体架构包括两个主要模块：空间图合并策略（SGraM）和空间聚类修剪范式（SCluP）。SGraM在LLM推理前合并相似标记，而SCluP在推理过程中进行层次压缩。

关键创新：HiSC的创新在于将标记压缩从标记级别提升到聚类级别，通过空间连接性来处理冗余，显著提高了压缩效果和细节保留。

关键设计：在SGraM中，采用空间图模型来识别和合并相似区域；在SCluP中，设计了层次压缩策略，确保对象实例的完整性和重要区域的细节保留。具体参数和损失函数的设置在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HiSC在高达90%的标记修剪比下，仍能保持良好的性能，性能降幅极小。这表明HiSC在处理3D场景时，能够有效减少计算负担，同时保留关键细节，优于现有方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和虚拟现实等3D场景理解任务。通过提高3D VLMs的效率，HiSC能够在实时处理和资源受限的环境中发挥重要作用，推动相关技术的实际应用和发展。

📄 摘要（原文）

3D vision-language models (3D VLMs) enable spatial reasoning over multi-view scenes but suffer from substantial token redundancy due to duplicated observations and large uninformative regions, leading to high computational cost. Although visual token compression has shown promise in accelerating 2D VLMs, it fails to capture the structured nature of 3D scenes and leads to incomplete spatial coverage and loss of fine-grained details. In this paper, we propose \textbf{HiSC}, a training-free framework for hierarchical spatial clustering token compression in 3D VLMs. HiSC lifts token compression from token-level selection to cluster-level processing by organizing tokens into spatially grounded clusters using joint geometric and semantic cues. Specifically, we first introduce a \textbf{spatial graph-based merging (SGraM) strategy} that models cross-view redundancy as spatial connectivity and consolidates physically consistent regions, effectively merging extremely similar redundant tokens prior to LLM inference. We then propose a \textbf{spatial clustering-based pruning (SCluP) paradigm} within LLM inference, which performs hierarchical compression across clusters and within clusters, preserving object instance completeness while retaining fine-grained details for important regions. Extensive experiments on diverse 3D reasoning benchmarks show validate the effectiveness of HiSC, particularly under high visual token pruning ratios. Besides, HiSC achieves over 90\% token reduction with minimal performance degradation. Code is accessible at https://github.com/elecreak/HiSC.