GALA: Generation-Aware Cross-Modal Alignment for Text-to-Time-Series Synthesis
作者: Haochen Zhang, Gengwei Zhang, Laura Yao, Nicholas Knoz, Tianlong Chen
分类: cs.CL, cs.LG
发布日期: 2026-08-13
备注: 21 pages, 6 figures
💡 一句话要点
提出GALA以解决文本条件时间序列生成中的对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列生成 文本条件生成 跨模态对齐 生成模型 深度学习
📋 核心要点
- 现有文本条件生成器未能有效匹配文本与时间序列信号模态，导致生成效果不佳。
- GALA通过对比性耦合预训练文本编码器与时间序列模型，创建共享嵌入空间以改善生成质量。
- 在TSFragment-600K数据集上，GALA在多个指标上表现优异，显著提升了生成的保真度与文本一致性。
📝 摘要（中文）
从自然语言合成时间序列是可控时间序列生成的一种新兴形式。然而，现有的文本条件生成器要么使用固定的文本编码器，要么通过去噪损失适应编码器，导致条件表示未能有效匹配信号模态。为此，本文提出了GALA：一种生成感知的跨模态对齐方法。GALA采用两阶段方法，首先将预训练的文本编码器与时间序列基础模型对比性耦合到共享嵌入空间，并通过辅助生成损失适应生成。然后，冻结得到的文本嵌入以驱动流匹配生成器。在TSFragment-600K数据集上，GALA在36个指标中排名前30，平均排名为1.08/1.08/1.42，显著优于最强基线的1.92/2.00/1.75。
🔬 方法详解
问题定义：本文旨在解决现有文本条件时间序列生成方法中，文本编码与时间序列信号模态之间的对齐不足问题，导致生成效果不理想。
核心思路：GALA的核心思路是通过对比性耦合将文本编码器与时间序列模型结合，形成一个共享的嵌入空间，从而使得文本条件能够更有效地指导时间序列生成。
技术框架：GALA采用两阶段方法，第一阶段是将预训练的文本编码器与时间序列模型对比性耦合，形成共享嵌入；第二阶段是冻结得到的文本嵌入，驱动流匹配生成器进行时间序列生成。
关键创新：GALA的主要创新在于引入了生成感知的对齐机制，使得文本条件与时间序列信号之间的关系更加紧密，显著提升了生成质量。
关键设计：GALA设计了辅助生成损失以适应编码器，并在生成过程中冻结文本嵌入，确保生成器能够有效利用对齐后的信息。
🖼️ 关键图片
📊 实验亮点
GALA在TSFragment-600K数据集上表现出色，在36个指标中排名前30，平均排名为1.08/1.08/1.42，显著优于最强基线的1.92/2.00/1.75，证明了其在生成保真度和文本一致性方面的优势。
🎯 应用场景
该研究在金融、气象、医疗等领域具有广泛的应用潜力，能够通过自然语言描述生成相应的时间序列数据，帮助决策支持和数据分析。未来，GALA可能推动更多基于文本的时间序列生成应用的发展。
📄 摘要（原文）
Synthesizing time series from natural language is emerging as the most expressive form of controllable time series generation. However, existing text-conditioned generators either take caption embeddings frozen from off-the-shelf text encoders, or adapt the encoder end-to-end, letting the denoising loss shape the embeddings only as a by-product. In either case, the conditioning representation is never deliberately matched to the signal modality, leaving it ill-suited to guide generation. We address this by introducing GALA: Generation-Aware cross-modaL Alignment for text conditional time series generation. GALA is a two-stage approach that first contrastively couples a pretrained text encoder with a time-series foundation model into a shared embedding space with both encoders adapted to generation by an auxiliary generative loss, and then freezes the resulting caption embedding to drive a flow-matching generator. On TSFragment-600K, spanning four domains and three fragment lengths, GALA sets a new state of the art, ranking first in 30 of 36 metric columns and reaching an average rank of 1.08/1.08/1.42 at lengths 24/48/96 against 1.92/2.00/1.75 for the strongest baseline. We further find that generator-internal text encoders force a trade-off between fidelity and caption adherence, whereas conditioning on the aligned embedding breaks it: FID, CTTP, and JFTSD all improve at once. Ablating the auxiliary loss degrades FID, CTTP and JFTSD together, it indicates the generative term is a necessary component of the alignment rather than an add-on.