PORTER: Language-Grounded Event Representations for Portable Structured EHR Foundation Models

📄 arXiv: 2606.24102v1 📥 PDF

作者: Lin Lawrence Guo, Adam Paul Yan, Emily Vettese, Lillian Sung

分类: cs.CL, cs.LG

发布日期: 2026-06-23

💡 一句话要点

提出PORTER以解决电子健康记录模型的词汇限制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子健康记录 临床预测 语言基础模型 跨词汇迁移 数值整合 自回归预训练 事件表示

📋 核心要点

  1. 现有的EHR基础模型受限于固定词汇，无法处理未见概念或新组合，限制了跨机构和部署管道的转移能力。
  2. PORTER通过解耦事件表示与固定词汇，使用冻结的文本编码器和专用数值路径，提供了一种新的事件表示方式。
  3. 在74个临床预测任务中，PORTER与固定词汇模型的AUROC相当，并在MIMIC数据集上表现优异，展示了其跨词汇迁移能力。

📝 摘要（中文）

大多数电子健康记录（EHR）基础模型将临床事件编码为固定词汇的离散事件标记，因此无法直接表示包含未见概念或新组合的事件。为了解决这一问题，本文提出了PORTER，一个语言基础的结构化EHR模型，它将事件表示与固定词汇解耦。PORTER通过冻结的文本编码器表示事件描述，通过专用路径整合数值，并利用自回归预训练的时间骨干网络学习患者时间线上的临床动态。在74个临床预测任务中，PORTER的表现与固定词汇模型相当，并在未见事件描述的情况下实现了高达97.1%的AUROC恢复。PORTER在MIMIC数据集上超越了固定词汇模型，表现出更好的跨词汇迁移能力。

🔬 方法详解

问题定义：本文旨在解决现有EHR基础模型因固定词汇限制而无法有效表示新概念或组合的问题。这种限制导致模型在不同机构或部署管道间的迁移能力不足。

核心思路：PORTER的核心思路是将事件表示与固定词汇解耦，采用语言基础的描述方式来表示事件，同时通过专用路径整合数值信息，以便更灵活地处理临床数据。

技术框架：PORTER的整体架构包括三个主要模块：冻结的文本编码器用于事件描述，专用路径用于数值整合，以及自回归预训练的时间骨干网络用于学习患者时间线的动态。

关键创新：PORTER的主要创新在于其语言基础的事件表示方式，允许模型在未见事件描述的情况下进行有效迁移，显著提高了跨词汇的转移能力。

关键设计：在设计中，PORTER使用了冻结的文本编码器以保持事件描述的一致性，并通过专用路径增强了对数值信息的敏感性，确保了临床概念的身份不被破坏。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PORTER在74个临床预测任务中与固定词汇模型的AUROC表现相当，并在未见事件描述的情况下恢复了97.1%的AUROC。在MIMIC数据集上，PORTER超越了固定词汇模型，后者因未见事件丢失了69%的事件，展示了PORTER的强大迁移能力。

🎯 应用场景

PORTER的研究成果在电子健康记录领域具有广泛的应用潜力，能够提高临床数据的表示能力和迁移效率。其设计理念为未来的EHR模型提供了新的思路，减少了对词汇协调的需求，同时保持了领域内的性能，促进了跨任务的高效重用。

📄 摘要（原文）

Most electronic health record (EHR) foundation models encode clinical events as discrete event tokens from a fixed vocabulary and therefore cannot directly represent events containing unseen concepts or new combinations of concepts and attributes such as numeric values. This limits transfer across institutions and even across deployment pipelines within the same institution. We introduce PORTER, a language-grounded structured EHR foundation model that decouples event representation from this fixed vocabulary. PORTER represents events through their descriptions using a frozen text encoder, integrates numeric values through a dedicated pathway, and learns clinical dynamics over patient timelines with an autoregressively pretrained temporal backbone. Across 74 clinical prediction tasks at a pediatric hospital, PORTER matched the mean AUROC of a fixed-vocabulary model with the same temporal backbone and pretraining objective. When the same patient timelines were rendered using event descriptions not seen during pretraining, PORTER transferred without retraining or vocabulary mapping, recovering 97.1% of the mean AUROC of a model trained directly on the target vocabulary. When transferred to MIMIC, PORTER outperformed the fixed-vocabulary model, which dropped 69% of events because their tokens were unseen. Mechanistic analyses showed cross-vocabulary transfer tracked preservation of patient-level representation geometry rather than the scale of the text encoder, and the numeric pathway improved sensitivity to magnitude without disrupting clinical concept identity. PORTER also achieved higher AUROC than a task-specific text serialization comparator, at 329-fold lower amortized compute. PORTER is a step toward vocabulary-independent EHR foundation models that reduce the need for vocabulary harmonization while preserving in-domain performance and enabling efficient cross-task reuse.