TopoCompress: Long Context Compression via Graph-Wired Semantic Trajectories

📄 arXiv: 2608.30811v1 📥 PDF

作者: Daniel Agyei Asante, Yang Li

分类: cs.CL, cs.LG

发布日期: 2026-08-31

备注: 13 pages

💡 一句话要点

提出TopoCompress以解决长上下文压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文压缩 语义跨度 模型无关 信息检索 自然语言处理

📋 核心要点

  1. 现有的长上下文压缩方法常常会破坏重要信息，且需要额外的训练或对齐，依赖于特定模型。
  2. TopoCompress通过选择一致的语义跨度来实现长上下文压缩，采用无训练和模型无关的框架。
  3. 在五个长上下文任务中，TopoCompress在压缩预算和时间上均表现出显著优势，性能接近最强基线。

📝 摘要（中文）

长上下文压缩对于降低大型语言模型推理的成本和延迟至关重要。然而，现有方法往往会破坏重要证据，需额外训练或对齐，并且通常依赖于目标模型以实现有效压缩。本文提出了TopoCompress，一个无训练且模型无关的框架，通过选择一致的语义跨度来压缩长上下文。TopoCompress首先使用密集和词汇查询相关性以及语义加速对每个跨度进行评分，然后构建一个混合图，基于语义相似性和顺序相邻性连接跨度，并在图上传播查询引导的相关性评分。在五个长上下文任务中，TopoCompress始终优于强基线，显著降低了压缩预算和时间。

🔬 方法详解

问题定义：本文旨在解决长上下文压缩中的信息碎片化问题，现有方法往往需要额外的训练或对齐，且依赖于特定的目标模型，限制了其通用性和效率。

核心思路：TopoCompress的核心思想是通过选择语义一致的跨度来压缩长上下文，避免信息的丢失和碎片化，同时不需要额外的训练过程。

技术框架：TopoCompress的整体架构包括三个主要模块：首先对每个语义跨度进行评分，其次构建混合图以连接相似的跨度，最后在图上传播查询引导的相关性评分。

关键创新：TopoCompress的创新在于其无训练和模型无关的特性，通过构建语义相似性和顺序相邻性的混合图，有效地实现了长上下文的压缩，与现有方法相比，显著提高了压缩效率。

关键设计：在设计中，采用了密集和词汇查询相关性评分机制，结合语义加速，确保了每个跨度的选择具有高相关性和一致性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在五个长上下文任务（HotpotQA、2WikiMQA、MuSiQue、Qasper和MultiFieldQA）中，TopoCompress始终超越强基线，使用4倍更小的压缩预算，且在压缩时间上比最快基线减少了1.41倍，显示出其卓越的性能。

🎯 应用场景

TopoCompress的研究成果在自然语言处理、信息检索和对话系统等领域具有广泛的应用潜力。通过有效压缩长上下文，该方法能够显著降低推理成本和延迟，提升用户体验，尤其在实时应用场景中具有重要价值。

📄 摘要（原文）

Long-context compression is essential for reducing the cost and latency of large language model inference. However, existing methods can fragment important evidence, require additional training or alignment, and often depend on the target model for effective compression. We introduce TopoCompress, a training-free and model-agnostic framework that compresses long contexts by selecting coherent semantic spans. TopoCompress first scores each span using dense and lexical query relevance together with semantic acceleration. It then constructs a hybrid graph that connects spans based on semantic similarity and sequential adjacency, and propagates the query-guided relevance scores over the graph. Across five long-context tasks-HotpotQA, 2WikiMQA, MuSiQue, Qasper, and MultiFieldQA-en-TopoCompress consistently outperforms strong compression baselines. Notably, TopoCompress achieves performance comparable to the strongest baseline while using a 4x smaller compression budget, and provides a 1.41x smaller compression time over the fastest baseline.