Why Large Language Models Fail at Tabular Prediction

📄 arXiv: 2608.02412v1 📥 PDF

作者: Marta Garnelo, Wojciech M. Czarnecki

分类: cs.LG

发布日期: 2026-08-03

💡 一句话要点

探讨大型语言模型在表格预测中的失败原因

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 表格数据 预测分析 高维数据 实验研究 模型比较 机器学习

📋 核心要点

  1. 现有大型语言模型在表格数据的预测分析中表现不佳，未能有效处理噪声或非线性可分数据。
  2. 论文通过系统评估五个假设，发现维度是导致LLMs失败的关键因素，提出了对维度影响的深入分析。
  3. 实验结果显示，LLMs在高维数据上的准确率下降，而经典模型在相同条件下表现稳定，揭示了LLMs的局限性。

📝 摘要（中文）

大型语言模型（LLMs）已成为多种任务的默认工具，但在表格数据的预测分析中却表现不佳。本文研究了LLMs在纯推理模式下的表现，系统评估了五个失败假设。通过控制实验，发现维度是决定性因素：在三十一种基准数据集上，LLMs的准确率随着维度的增加而下降，而经典基线模型的表现则保持稳定或改善。这表明，尽管LLMs在其他领域表现出色，但在表格数据上却持续落后于传统模型。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在表格数据预测中的失败原因，尤其是为何这些模型在处理高维数据时表现不佳。现有方法未能有效解决这一问题，导致LLMs在表格预测任务中落后于传统模型。

核心思路：论文的核心思路是通过系统评估不同假设，特别关注输入数据的维度对LLMs性能的影响。通过控制实验，验证了维度对模型预测能力的决定性作用。

技术框架：整体架构包括对LLMs在推理过程中的表现进行评估，实验设计涵盖了对三十一种基准数据集的随机线性投影，比较LLMs与九种经典模型的表现。

关键创新：最重要的技术创新在于识别出维度对LLMs性能的影响，揭示了LLMs在高维数据上准确率下降的独特现象，这与传统模型的表现形成鲜明对比。

关键设计：实验中采用了随机线性投影技术，评估了不同维度下的模型表现，设计了多种控制实验以排除其他因素的干扰，确保结果的可靠性。实验还包括对252个经典模型的行为比较，进一步验证了LLMs的局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在高维数据集上的准确率随着维度的增加而显著下降，成为九种模型中唯一表现不佳的模型。与252个经典模型的比较中，LLMs在二维数据上表现良好，但在更高维度上无法被任何经典模型复现其预测，揭示了其独特的性能瓶颈。

🎯 应用场景

该研究的潜在应用领域包括金融分析、医疗数据处理和市场预测等需要处理表格数据的领域。通过理解LLMs在表格预测中的局限性，研究者可以开发更有效的模型，提升预测准确性，推动相关领域的技术进步。

📄 摘要（原文）

Large language models (LLMs) have become the default tool for a remarkable range of tasks, yet they have had conspicuously little success at one of the most common machine learning workloads: predictive analytics over tabular data. This gap is the founding premise of the fast-growing field of tabular foundation models, but the question of why generic LLMs fail has remained open. We study a frontier LLM in its purest inference regime - a single generation pass over a prompt containing the full training and test data, with no tools, no agentic scaffolding, and no fine-tuning - and systematically evaluate five hypotheses for the failure: (a) an inability to handle noisy or non-linearly-separable data; (b) the linearised CSV format obscuring column structure; (c) the tokenisation of numeric values; (d) the number of test points classified per query; and (e) the dimensionality of the input. Controlled experiments falsify (a)-(d). Dimensionality, in contrast, is decisive: sweeping random linear projections of thirty-one benchmark datasets, the LLM is the only method among nine whose accuracy decreases as dimensionality grows, while every classical baseline stays flat or improves. A behavioural comparison against 252 configured classical models finds that in two dimensions the LLM predicts like a local, distance-based method (up to 91.6% grid agreement), but in higher dimensions no classical model - even when augmented with tuned, dimension-dependent noise - reproduces its predictions. We do not claim to have identified the internal mechanism; our results show, more modestly, that the LLM's capability dissolves with dimension in a way no noise-corrupted classical learner mimics - which explains why LLMs, so capable elsewhere, keep losing to fifty-year-old baselines on tables, while leaving the mechanism of the prediction as an open question.