A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series

📄 arXiv: 2607.25947v1 📥 PDF

作者: Frank Nie, Ethan B Liu, Yuan Zhu, Wei Fan, Jindong Han

分类: cs.AI, cs.CL

发布日期: 2026-07-28

💡 一句话要点

提出ClinPRISM以解决不规则临床时间序列问答问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不规则临床时间序列 多模态LLM 问答系统 稀疏性建模 临床决策支持

📋 核心要点

  1. 现有的多模态时间序列大语言模型在处理临床数据时，无法有效应对稀疏性和不规则采样的问题。
  2. ClinPRISM框架通过不规则性感知的多尺度编码器和时间证据提炼器，优化了临床时间序列的表示和推理过程。
  3. 在实验中，ClinPRISM在评估基准上表现出色，仅使用16个时间序列tokens，推理延迟仅为0.15秒。

📝 摘要（中文）

在不规则临床时间序列（ICTS）上进行问答（QA）在众多医疗应用中至关重要。尽管近期的多模态时间序列大语言模型（LLMs）在通用时间序列QA中表现出色，但它们在建模临床观察的稀疏性、异步性和不规则采样模式方面仍显不足。为填补这一空白，本文提出了ClinPRISM，一个经济高效的多模态LLM推理框架。该框架通过不规则性感知的多尺度编码器捕捉不同时间尺度的稀疏临床证据，并通过时间证据提炼器整合这些表示，压缩为少量LLM兼容的tokens。此外，逐步对齐策略将不规则轨迹与LLM的文本嵌入空间进行对齐。使用4亿参数的LLM基础，ClinPRISM在保留评估基准上实现了最先进的性能，仅使用16个时间序列tokens，平均推理延迟为0.15秒。

🔬 方法详解

问题定义：本文旨在解决在不规则临床时间序列（ICTS）上进行问答的挑战，现有方法在处理稀疏性、异步性和不规则采样模式时表现不足。

核心思路：ClinPRISM通过设计不规则性感知的多尺度编码器来捕捉不同时间尺度的临床证据，并通过时间证据提炼器整合这些信息，从而提高问答的准确性和效率。

技术框架：ClinPRISM的整体架构包括三个主要模块：不规则性感知的多尺度编码器、时间证据提炼器和逐步对齐策略。多尺度编码器负责捕捉稀疏证据，提炼器则将这些信息压缩为LLM兼容的tokens，最后对齐策略确保信息与LLM的文本嵌入空间一致。

关键创新：ClinPRISM的主要创新在于其不规则性感知的多尺度编码器和逐步对齐策略，这些设计使得模型能够有效处理临床数据的稀疏性和不规则性，与现有方法相比具有显著优势。

关键设计：在模型设计中，使用了4亿参数的LLM作为基础，设置了16个时间序列tokens，并优化了推理延迟至0.15秒，确保了高效的问答性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ClinPRISM在评估基准上实现了最先进的性能，使用仅16个时间序列tokens，平均推理延迟为0.15秒，显著提升了问答效率。这一结果表明，该框架在处理不规则临床时间序列时具有优越的性能，超越了现有的多模态LLM方法。

🎯 应用场景

ClinPRISM在医疗领域具有广泛的应用潜力，尤其是在临床决策支持、患者监测和个性化医疗等场景中。通过提高对不规则临床时间序列的问答能力，该框架能够帮助医生更好地理解患者的健康状况，从而做出更为精准的医疗决策。未来，该技术可能推动智能医疗系统的发展，提升医疗服务的效率和质量。

📄 摘要（原文）

Question answering (QA) over irregular clinical time series (ICTS) plays a pivotal role in a wide range of healthcare applications. Although recent multimodal time-series large language models (LLMs) have shown considerable promise in general-purpose time-series QA, they remain poorly equipped to model the sparsity, asynchrony, and irregular sampling patterns of clinical observations. To fill this gap, we propose ClinPRISM, a cost-effective multimodal LLM reasoning framework for question answering over ICTS data. First, we devise an irregularity-aware multi-scale encoder to capture sparse clinical evidence at diverse temporal scales. Then, we propose a temporal evidence distiller to integrate representations across these scales and compress them into a small number of LLM-compatible tokens. Moreover, we introduce a progressive alignment strategy that sequentially aligns the irregular trajectories with the LLM's textual embedding space. To facilitate training, we construct 30,000 clinical time series paired with multi-scale descriptions, together with 41,000 instruction-tuning instances spanning 11 tasks. Using a 4-billion-parameter LLM backbone, ClinPRISM achieves state-of-the-art performance on the held-out evaluation benchmark while using only 16 time-series tokens and achieving an average inference latency of 0.15 seconds per question.