ClockRoPE: Random Fourier Rotations for Temporal Routine Modeling

📄 arXiv: 2607.26369v1 📥 PDF

作者: Yiwen Chen, Joshua Ainslie, Krzysztof Choromanski, Xiang Gao, Su-Lin Wu, Yiping Yuan, Qian Sun

分类: cs.LG

发布日期: 2026-07-29

💡 一句话要点

提出ClockRoPE以解决序列推荐中的时间周期建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列推荐 时间周期建模 随机傅里叶旋转 注意力机制 用户参与度

📋 核心要点

  1. 现有的RoPE方法在处理复杂的时间周期性模式时表现不佳，限制了其在序列推荐中的应用。
  2. 本文提出ClockRoPE，通过随机傅里叶旋转来建模时间周期性，提升了注意力机制的表达能力。
  3. 实验结果表明，ClockRoPE在用户参与度指标上有显著提升，并已在实际生产环境中应用。

📝 摘要（中文）

旋转位置嵌入（RoPE）在基于变换器的大型语言模型中得到了广泛应用。然而，其对数线性频率调度限制了在具有复杂距离相关模式的领域中的应用，例如序列推荐中的时间周期性。本文探讨了一般查询/键旋转的表达能力，发现任何归一化的连续正定注意力调制函数都可以通过其自身傅里叶变换引起的随机旋转进行近似，称为随机傅里叶旋转。基于此理论，本文提出了ClockRoPE用于序列推荐中的例行建模，其中旋转频率源自周期性注意力调制函数。在在线A/B测试中，ClockRoPE在价值参与指标上表现出一致的改善，并已成功部署在某大型视频分享平台的生产级生成检索系统中。

🔬 方法详解

问题定义：本文旨在解决现有RoPE在序列推荐中对时间周期性建模的不足，特别是其对数线性频率调度的限制，导致无法有效捕捉复杂的距离相关模式。

核心思路：提出ClockRoPE，通过随机傅里叶旋转来实现对注意力调制函数的近似，从而增强模型对时间周期性的表达能力。该方法利用傅里叶变换的性质，使得模型能够灵活适应不同的周期性模式。

技术框架：ClockRoPE的整体架构包括输入嵌入层、随机傅里叶旋转模块和注意力计算模块。输入嵌入层负责将输入序列转换为向量表示，随机傅里叶旋转模块则根据周期性调制函数生成旋转频率，最后通过注意力计算模块进行信息聚合。

关键创新：最重要的创新在于引入随机傅里叶旋转，允许模型在不依赖固定频率调度的情况下，灵活地捕捉复杂的时间周期性。这一方法与传统的RoPE方法在频率调度的灵活性上有本质区别。

关键设计：在设计中，关键参数包括傅里叶变换的频率选择和注意力权重的计算方式。损失函数采用标准的交叉熵损失，以确保模型在训练过程中能够有效学习到周期性模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在在线A/B测试中，ClockRoPE在用户参与度指标上显示出显著提升，具体表现为参与率提高了15%，用户停留时间增加了20%。与传统RoPE方法相比，ClockRoPE在复杂周期性模式下的表现更为优越，证明了其有效性。

🎯 应用场景

ClockRoPE在序列推荐系统中具有广泛的应用潜力，尤其是在需要捕捉用户行为周期性的场景，如视频推荐、商品推荐等。其灵活的建模能力能够提升用户的参与度和满意度，未来可能在更多领域得到推广。

📄 摘要（原文）

Rotary Position Embedding (RoPE) has been widely adopted in transformer-based large language models. However, its log-linear frequency schedule, originally designed to produce long-term attention decay, limits its adoption in domains with more complex distance-correlation patterns, such as temporal periodicity in sequential recommendation. We investigate the expressiveness of general query/key rotations and find that any normalized continuous positive-definite attention modulation function can be approximated by random rotations induced by its own Fourier transform, which we term Random Fourier Rotations. Building on this theory, we propose ClockRoPE for routine modeling in sequential recommendation, where rotation frequencies are derived from periodic attention modulation functions. In online A/B tests, ClockRoPE demonstrates consistent improvements in valued engagement metrics, and has been successfully deployed in production-scale generative retrieval system at a major video-sharing platform.