Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models
作者: Jialin Gan, Xin Qiu, Guangzhe Chen, Xue Wang
分类: cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出自适应压缩方法以提高时间序列语言模型的效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列分析 语言模型 自适应压缩 不对称令牌 推理加速 模型优化
📋 核心要点
- 现有方法在处理时间序列和文本上下文时，统一令牌处理效率低下，未能充分利用不同令牌的信息结构差异。
- 论文提出了一种自适应令牌预算框架，通过分析频域结构来压缩时间序列令牌，并逐层减少提示令牌的使用。
- 实验结果显示，该方法在多个任务中实现了最高7.68倍的推理加速，并在78%的设置中提升了模型性能。
📝 摘要（中文）
大型语言模型（LLMs）通过共享的令牌接口联合建模数值观察和文本上下文，从而推动了时间序列（TS）分析。然而，TS令牌和提示令牌在信息结构上存在根本差异，使得统一令牌处理效率低下。本文从不对称令牌的角度研究了TS语言建模中的令牌效率，提出了一种自适应令牌预算框架，通过频域结构压缩TS令牌，并逐层减少提示令牌。实验结果表明，在预测、分类、填补和异常检测等任务中，推理加速最高可达7.68倍，78%的评估设置中表现出性能提升，验证了不对称令牌压缩在可扩展TS基础模型中的有效性。
🔬 方法详解
问题定义：本文旨在解决时间序列语言模型中令牌处理效率低下的问题，现有方法未能有效利用时间序列和提示令牌之间的信息结构差异。
核心思路：通过不对称令牌的视角，分析时间序列令牌的频域特性，提出自适应令牌预算框架，以优化令牌的使用效率。
技术框架：整体架构包括两个主要模块：首先是频域结构分析模块，用于识别和压缩冗余的时间序列令牌；其次是逐层提示令牌减少模块，依据模型深度动态调整提示令牌的使用。
关键创新：最重要的创新在于提出了不对称令牌压缩方法，针对时间序列和提示令牌的不同特性，优化了令牌的处理方式，与现有的统一处理方法形成鲜明对比。
关键设计：在参数设置上，采用了频域分析技术来识别冗余模式，并设计了动态调整的损失函数，以确保模型在不同层次上有效利用提示令牌。网络结构上，结合了多层次的令牌处理机制，以适应不同任务的需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在多个任务中实现了最高7.68倍的推理加速，并在78%的评估设置中表现出性能提升，显示了不对称令牌压缩的有效性，显著优于传统方法。
🎯 应用场景
该研究的潜在应用领域包括金融市场预测、气象数据分析、工业设备监控等时间序列数据密集的场景。通过提高时间序列语言模型的处理效率，能够在实时分析和决策支持中发挥重要作用，未来可能推动智能监控和预测系统的发展。
📄 摘要（原文）
Large language models (LLMs) have enabled time series (TS) analysis by jointly modeling numerical observations and textual context through a shared token interface. However, TS tokens and prompt tokens exhibit fundamentally different information structures, making uniform token processing inefficient. In this paper, we study token efficiency in TS language modeling from an asymmetric-token perspective. We show that TS tokens have highly uneven spectral contributions, where many tokens share redundant frequency patterns while a small subset preserves critical temporal evidence. We also observe that prompt-token influence attenuates with model depth, suggesting that full prompt retention across all layers is unnecessary. Based on these findings, we develop an adaptive token budgeting framework that compresses TS tokens via frequency-domain structure and progressively reduces prompt tokens across layers. Experiments across forecasting, classification, imputation, and anomaly detection demonstrate up to \textit{\textbf{7.68$\times$}} inference acceleration and performance gains in \textit{\textbf{78\%}} of evaluated settings, showing the effectiveness of asymmetric token compression for scalable TS foundation models.