LLM knowledge for improved Out-of-Distribution Tabular Prediction - A Cross-Validated Regularisation Approach

📄 arXiv: 2610.36806v1 📥 PDF

作者: Sølve Langseth, Kristoffer Herland Hellton, Hugo L. Hammer

分类: cs.LG, stat.ME, stat.ML

发布日期: 2026-10-27

🔗 代码/项目: GITHUB

💡 一句话要点

利用大语言模型知识改善分布外表格预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 分布外预测 正则化回归 表格数据 模型泛化 交叉验证 特征选择

📋 核心要点

  1. 现有的预测模型在训练和部署人群不一致时性能显著下降，且无法有效识别可转移的特征-响应关系。
  2. 论文提出利用大语言模型提取的系数先验作为正则化回归的收缩目标，以改善分布外预测的准确性。
  3. 实验结果表明，先验在四个数据集上显著降低了OOD均方误差，且在某些情况下，先验还改善了领域内的准确性。

📝 摘要（中文）

预测模型在部署人群与训练人群不一致时性能下降，而训练数据无法指示哪些特征-响应关系能够转移。专家引导方法既缓慢又不可扩展。本文探讨了从大语言模型（LLMs）中提取的系数先验是否能作为正则化回归的收缩目标，改善分布外（OOD）预测。通过对五个基于真实协变量的表格数据集进行交叉验证，结果显示，先验在四个数据集上帮助提升了多达7.9%的OOD均方误差，且在24个先验信息结果中，有10个在常规置信度下显示了均值改善。尽管候选先验的变异性超过了平均收益，但交叉验证的边际低于自身噪声，表明选择避免了最差先验而非找到最佳先验。

🔬 方法详解

问题定义：本文解决的问题是预测模型在分布外数据上的性能下降，现有方法无法有效识别哪些特征-响应关系能够转移，导致模型在新环境中的表现不佳。

核心思路：论文的核心思路是利用从大语言模型中提取的系数先验，作为正则化回归的收缩目标，而不是简单地使用零。这种设计旨在通过引入领域知识来改善模型的泛化能力。

技术框架：整体架构包括数据集的选择、先验的提取、交叉验证的实施以及模型的训练与评估。主要模块包括数据预处理、先验生成、模型训练和性能评估。

关键创新：最重要的技术创新在于将大语言模型的知识应用于正则化回归中，提供了比传统方法更有效的收缩目标，从而改善了分布外预测的性能。

关键设计：关键设计包括选择合适的先验结构、设置交叉验证的参数，以及在模型训练中使用特定的损失函数来优化预测性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，利用大语言模型提取的先验在四个数据集上显著降低了分布外均方误差，最高提升幅度达到7.9%。此外，十个先验信息结果在常规置信度下显示了均值改善，表明该方法在实际应用中具有良好的效果。

🎯 应用场景

该研究的潜在应用场景包括金融风险评估、医疗诊断和市场预测等领域，尤其是在数据分布变化频繁的环境中。通过引入大语言模型的知识，模型能够更好地适应新数据，提高预测的准确性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Prediction models degrade when the deployment population differs from the one used to train them, and training data cannot say which feature-response relationships will transfer. Expert elicitation is slow and unscalable. We ask whether coefficient priors elicited from large language models (LLMs) improve out-of-distribution (OOD) prediction as the shrinkage target of a regularised regression instead of zero, across five tabular datasets split on real covariates, selecting providers and prior structures by source-domain cross-validation alone. The priors help on four of five datasets, by up to 7.9% OOD mean squared error, and ten of twenty-four prior-informed results resolve the mean improvement at conventional confidence; single-deployment intervals are much wider. On classification the gain is in probabilistic accuracy, not ranking, and control tests with corrupted priors attribute the benefit to feature-specific content rather than scale. Two findings temper this. Variation across candidate priors exceeds the average benefit, yet cross-validation margins fall below their own noise, so selection avoids the worst prior rather than finding the best. On three datasets the prior improves in-domain accuracy as much as out-of-domain, making it better regularisation than shift correction. Only where the training data are large enough that the in-domain gain disappears does elicited knowledge demonstrably improve transfer. Code, priors and results: https://github.com/hugohammer/llm-priors-ood.