LabelFusion-TS: Fusing Large Language Models, Transformer Encoders, and Financial Time Series for Monetary-Policy Stance Classification

📄 arXiv: 2608.11753v1 📥 PDF

作者: Michael Schlee, Fabian Lukassen, Christoph Weisser

分类: cs.CL

发布日期: 2026-08-12

💡 一句话要点

提出LabelFusion-TS以融合金融时间序列和语言模型进行货币政策态度分类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融文本分类 多模态融合 时间序列分析 RoBERTa 大型语言模型 机器学习 政策分析

📋 核心要点

  1. 现有的金融文本分类方法通常只依赖文本输入，忽视了市场时间序列信息，导致分类效果受限。
  2. 本文提出的LabelFusion-TS系统通过结合RoBERTa编码器、LLM和时间序列变换器，利用多模态信息提升分类性能。
  3. 在有限的训练数据下，LabelFusion-TS系统在FOMC沟通的分类任务中取得了70.2%的加权F1值，显示出显著的性能提升。

📝 摘要（中文）

金融文本在市场环境中产生和解读，但现有的金融文本分类器几乎总是仅接收文本作为输入。本文研究了金融时间序列作为额外输入在将美联储沟通句子分类为鹰派、鸽派或中立的任务中的有效性。我们提出的系统LabelFusion-TS扩展了现有架构，通过一个小型投票网络结合了三个独立训练的组件：微调的RoBERTa编码器、提示的大型语言模型（LLM）和融合的时间序列变换器。实验结果显示，该系统在2015年至2022年的评估中达到了70.2%的加权F1值，显著优于仅使用零-shot LLM的64.1%。

🔬 方法详解

问题定义：本文旨在解决金融文本分类中仅依赖文本输入的问题，现有方法未能有效利用市场时间序列信息，导致分类准确性不足。

核心思路：通过引入金融时间序列作为额外输入，结合多种模型（RoBERTa编码器、LLM和时间序列变换器），以提升对美联储沟通句子的分类能力。

技术框架：系统整体架构包括三个主要模块：1）微调的RoBERTa编码器，2）提示的大型语言模型（LLM），3）融合的时间序列变换器。通过小型投票网络整合这三个模块的输出，进行最终分类。

关键创新：最重要的创新在于将市场时间序列信息与文本信息结合，形成多模态输入，从而显著提升分类性能。这一方法与传统的单一文本输入方法本质上不同。

关键设计：在训练过程中，RoBERTa编码器首先在LLM自动标注的句子上进行预训练，然后再在人工标注的句子上进行微调。系统在训练时使用了加权F1作为评估指标，确保模型在少量标注数据下仍能有效学习。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，LabelFusion-TS系统在2015至2022年的评估中达到了70.2%的加权F1值，相较于零-shot LLM的64.1%有显著提升。该系统在仅使用240个人工标注句子的情况下，仍然超越了传统方法，证明了市场时间序列作为输入模态的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融市场分析、投资决策支持和政策评估等。通过有效分类美联储的沟通内容，投资者和政策制定者可以更好地理解市场动态，从而做出更为精准的决策。未来，该方法还可扩展至其他领域的文本分类任务，具有广泛的实际价值。

📄 摘要（原文）

Financial text is produced and interpreted within a market environment, yet financial text classifiers almost always receive text alone. We study whether financial time series are useful as an additional input on the task of classifying sentences from Federal Reserve communication as hawkish, dovish, or neutral. Our system, \lfts{}, extends the \lf{} architecture with this modality: a small voting network combines three independently trained components, a fine-tuned RoBERTa encoder, a prompted large language model (LLM), and a fused ensemble of time-series transformers over the market series of the months preceding publication. Because only about a thousand annotated sentences are available for training, the RoBERTa encoder is first pre-trained on sentences annotated automatically by the LLM and only then fine-tuned on the human labels. Trained on Federal Open Market Committee (FOMC) communication up to 2015 and evaluated on 2015--2022, the fused system achieves 70.2\% weighted F1 -- against 64.1\% for the zero-shot LLM -- and overtakes it with as few as 240 human-labelled sentences. We take this as initial evidence for market time series as an input modality in financial text classification.