Modalities Should Talk to Each Other: Dual-Stream Multimodal Learning for Long-Horizon Influenza Forecasting
作者: Seyed Mohammad Hossein Hashemi, Mohsen Hooshmand, Parvin Razzaghi
分类: cs.AI, stat.AP
发布日期: 2026-08-24
💡 一句话要点
提出双流注意力机制以解决流感预测中的多模态融合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流感预测 多模态学习 双流注意力 跨模态注意力 深度学习 公共卫生 时间序列预测
📋 核心要点
- 现有的流感预测方法在处理数值与文本信息的融合时存在噪声大、结构松散和滞后等问题，影响预测准确性。
- 本文提出的双流注意力（DSA）框架通过双向跨模态注意力机制，使数值和文本流相互条件化，从而提高预测性能。
- DSA在多个基线模型中表现出色，测试均方误差（MSE）显著低于其他方法，且在外部数据集上同样排名第一。
📝 摘要（中文）
长远流感样疾病（ILI）的预测对公共卫生准备至关重要。现有的监测数据集通常将数值流行病信号与噪声较大、结构松散的文本信息配对，这些文本信息与近期趋势间接相关且常常滞后。因此，融合这两种信息需要精心设计。本文提出了双流注意力（DSA）框架，通过让数值和文本流相互影响，预测未来12周的ILI活动。DSA使用Transformer编码器分别对两种模态进行编码，并通过双向跨模态注意力机制（CMA）将它们结合，最终传递给因果时间模型进行预测。实验结果表明，DSA在多个基线模型中表现优异，显著降低了预测误差。
🔬 方法详解
问题定义：本文旨在解决流感样疾病（ILI）长远预测中的多模态信息融合问题。现有方法在处理数值与文本信息时，常因文本信息的噪声和滞后性导致预测效果不佳。
核心思路：论文提出的双流注意力（DSA）框架通过双向跨模态注意力机制，使数值和文本流相互影响，从而提升预测的准确性和可靠性。
技术框架：DSA框架包括两个主要模块：数值编码器和文本编码器。数值编码器基于Transformer架构，文本编码器则为领域适应的标题编码器。两者通过双向跨模态注意力机制连接，最后将输出传递给因果时间模型进行预测。
关键创新：DSA的核心创新在于双向跨模态注意力机制，使得文本信息能够有效地影响数值信号的解读，反之亦然。这一设计显著提升了多模态信息的融合效果。
关键设计：在模型设计中，使用了特定的损失函数以优化预测性能，并通过消融实验验证了双向注意力的有效性。此外，模型在文本编码器选择和语言模型微调方面的表现也显示出其鲁棒性。
🖼️ 关键图片
📊 实验亮点
在实验中，DSA的中位测试均方误差（MSE）为0.416，显著优于iTransformer（0.668）、TaTS（0.607）和GPT4MTS（0.851），分别实现了54.95%、37.29%和67.23%的均值误差降低。此外，DSA在所有引导抽样中均排名第一，且在外部地理数据集上同样表现优异。
🎯 应用场景
该研究的潜在应用领域包括公共卫生监测、流感疫情预测和健康政策制定。通过提高流感预测的准确性，能够更好地为公共卫生准备提供支持，减少疫情对社会的影响。未来，该方法也可扩展到其他疾病的预测和监测中。
📄 摘要（原文）
Forecasting long-range influenza-like illness (ILI) matters for public health readiness. Publicly available surveillance datasets typically pair numeric epidemiological signals with textual information that is noisy, loosely structured, only indirectly related to near-term trends, and often lagged relative to the numeric signal. Fusing the two therefore requires careful design. We propose Dual-Stream Attention (DSA), a multimodal deep learning framework that forecasts 12-week-ahead ILI activity from a 36-week multimodal history by letting the numerical and textual streams condition each other. Using the Time-MMD health-domain dataset, DSA separately encodes the two modalities with a Transformer-based numerical encoder and a domain-adapted headline encoder, then couples them through a bidirectional Cross-Modal Attention (CMA) mechanism: the text (news headlines) conditions the interpretation of the numeric signal and vice versa. The CMA output then passes to a causal temporal model for forecasting. Evaluated across ten random seeds, DSA achieves a median test MSE of 0.416, versus 0.668, 0.607, and 0.851 for iTransformer, TaTS, and GPT4MTS, corresponding to mean-error reductions of 54.95%, 37.29%, and 67.23%, with paired Cohen's d of 0.555, 0.337, and 0.345, respectively, and ranks first in 100% of bootstrap draws. It also has substantially lower worst-window error than all baselines. On an external-geography dataset, DSA again ranks first among nine evaluated baselines. Ablations show the advantage does not depend on text-encoder choice or language-model fine-tuning, and that bidirectional attention outperforms either direction alone. Finally, perturbation-based faithfulness analysis shows the learned CMA is functionally informative under targeted masking, with a stronger effect in the text-to-numerical direction.