Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models
作者: Jialin Gan, Xin Qiu, Guangzhe Chen, Xue Wang
分类: cs.CL
发布日期: 2026-06-11
💡 一句话要点
提出自适应压缩方法以提高时间序列语言模型的效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列分析 语言模型 自适应压缩 非对称令牌 推理加速 频域分析
📋 核心要点
- 现有方法在处理时间序列和文本提示时，均匀令牌处理导致效率低下，难以充分利用信息结构的差异。
- 论文提出了一种自适应令牌预算框架，通过分析频域结构，优化TS令牌的压缩，并逐层减少提示令牌的使用。
- 实验结果显示，该方法在多个任务中实现了最高7.68倍的推理加速，并在78%的设置中提升了性能，验证了其有效性。
📝 摘要（中文）
大型语言模型（LLMs）通过共享的令牌接口联合建模数值观察和文本上下文，从而推动了时间序列（TS）分析。然而，TS令牌和提示令牌在信息结构上存在根本差异，使得均匀令牌处理效率低下。本文从非对称令牌的角度研究了TS语言建模中的令牌效率，提出了一种自适应令牌预算框架，通过频域结构压缩TS令牌，并逐层减少提示令牌。实验结果表明，在预测、分类、插补和异常检测等任务中，推理加速率最高可达7.68倍，78%的评估设置中表现出性能提升，展示了非对称令牌压缩在可扩展TS基础模型中的有效性。
🔬 方法详解
问题定义：本文旨在解决时间序列语言模型中均匀令牌处理效率低下的问题，现有方法未能充分利用时间序列和文本提示之间的信息结构差异。
核心思路：通过分析时间序列令牌的频域特征，发现其频谱贡献不均匀，提出自适应令牌预算框架，以优化令牌的使用效率。
技术框架：整体架构包括两个主要模块：首先，通过频域分析压缩时间序列令牌；其次，逐层减少提示令牌的保留，以适应模型深度的变化。
关键创新：最重要的创新在于引入非对称令牌压缩策略，针对时间序列和提示令牌的不同信息结构进行优化，与现有均匀处理方法形成鲜明对比。
关键设计：在参数设置上，采用频域分析方法确定重要的时间序列特征，并设计了逐层减少提示令牌的机制，以提高模型的整体推理效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在多个任务中实现了最高7.68倍的推理加速，并在78%的评估设置中表现出性能提升，显著优于传统均匀令牌处理方法，验证了其在时间序列分析中的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融市场预测、气候变化分析、医疗数据监测等时间序列分析任务。通过提高模型的推理效率和性能，能够在实际应用中实现更快速的决策支持，推动相关领域的智能化发展。
📄 摘要（原文）
Large language models (LLMs) have enabled time series (TS) analysis by jointly modeling numerical observations and textual context through a shared token interface. However, TS tokens and prompt tokens exhibit fundamentally different information structures, making uniform token processing inefficient. In this paper, we study token efficiency in TS language modeling from an asymmetric-token perspective. We show that TS tokens have highly uneven spectral contributions, where many tokens share redundant frequency patterns while a small subset preserves critical temporal evidence. We also observe that prompt-token influence attenuates with model depth, suggesting that full prompt retention across all layers is unnecessary. Based on these findings, we develop an adaptive token budgeting framework that compresses TS tokens via frequency-domain structure and progressively reduces prompt tokens across layers. Experiments across forecasting, classification, imputation, and anomaly detection demonstrate up to \textit{\textbf{7.68$\times$}} inference acceleration and performance gains in \textit{\textbf{78\%}} of evaluated settings, showing the effectiveness of asymmetric token compression for scalable TS foundation models.