Understanding axial attention in TSFMs through single location regression
作者: Andrei-Tiberiu Pantea, Aymeric Dieuleveut
分类: stat.ML, cs.AI, cs.LG
发布日期: 2026-10-29
💡 一句话要点
扩展单位置回归框架以研究轴向注意力机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列预测 轴向注意力 单位置回归 贝叶斯最优 投影梯度下降 稀疏信息 统计分析
📋 核心要点
- 现有的轴向注意力机制在理论分析上存在不足，尤其是在稀疏信息设置下的表现尚未被充分理解。
- 本文扩展了单位置回归框架，提出了一种可解析的轴向注意力预测器，以研究目标依赖于少量标记的情况。
- 实验结果表明，所提出的方法在理论上达到贝叶斯最优，并且逆温度调度在收敛性上起到了关键作用。
📝 摘要（中文）
近年来，时间序列基础模型（TSFMs）越来越依赖于轴向注意力机制，但其理论特性尚未得到充分探索。为填补这一空白，本文将Marion等人提出的单位置回归框架扩展到二维结构数据，研究目标依赖于少量标记的稀疏信息设置。我们提出了一种可解析的轴向注意力类型预测器，并严格分析其统计特性和训练动态。我们证明，在特定的渐近条件下，若掌握底层oracle参数，我们的预测器能够达到贝叶斯最优，而某类半线性简化则严格无法实现，强调了内部非线性的作用。我们还证明，在特定的温度缩放下，投影梯度下降能够全局收敛到最优oracle参数。大量数值实验验证了我们的理论发现，并突出了逆温度调度在经验收敛中的关键作用。
🔬 方法详解
问题定义：本文旨在解决轴向注意力机制在稀疏信息设置下的理论分析不足，现有方法未能充分探讨其统计性质和训练动态。
核心思路：通过扩展单位置回归框架到二维数据，提出一种可解析的轴向注意力预测器，能够在特定条件下实现贝叶斯最优性。
技术框架：整体架构包括数据输入、轴向注意力预测器、训练过程及优化算法，重点在于如何利用少量标记进行有效预测。
关键创新：提出的预测器在特定渐近条件下能够达到贝叶斯最优，且强调了内部非线性对性能的影响，这是与现有方法的本质区别。
关键设计：采用特定的温度缩放策略，结合投影梯度下降算法，确保全局收敛到最优oracle参数，损失函数设计上注重稀疏信息的有效利用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的轴向注意力预测器在特定的温度缩放下，能够实现全局收敛，且在与传统方法的对比中，性能提升显著，验证了理论分析的有效性。
🎯 应用场景
该研究的潜在应用领域包括时间序列预测、金融数据分析和气象数据建模等。通过提高对稀疏信息的处理能力，能够在实际应用中实现更高的预测精度和效率，未来可能推动相关领域的进一步发展。
📄 摘要（原文）
Recent advances in Time Series Foundation Models (TSFMs) increasingly rely on axial attention mechanisms, but despite their empirical success, the theoretical properties of axial attention remain largely unexplored. To bridge this gap, we extend the Single Location Regression framework introduced in Marion et al. [2025] to 2D structured data, in order to study sparse information settings where a target depends on a small number of tokens. We formulate an analytically tractable axial attention-type predictor and rigorously analyze its statistical properties and training dynamics. We prove that under a specific asymptotic regime and with knowledge of the underlying oracle parameters, our predictor achieves Bayes optimality, whereas a class of semi-linear simplifications strictly fails to do so, underlining the role of the inner non-linearity. We prove that for a specific temperature scaling, Projected Gradient Descent converges globally to the optimal oracle parameters. Extensive numerical experiments validate our theoretical findings and highlight the critical role of inverse temperature scheduling in empirical convergence.