Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

📄 arXiv: 2606.11961v1 📥 PDF

作者: Antonio Pelusi, Stefano Braghin, Alberto Trombetta

分类: cs.LG, cs.AI

发布日期: 2026-06-10

备注: 9 pages, 5 figures. Empirical study of in-context learning and LoRA fine-tuning for synthetic tabular data generation, introducing the phenomenon of categorical prior lock-in. Under review

💡 一句话要点

提出分类先验锁定以解决结构化数据的学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 上下文学习 结构化数据 参数微调 分类先验锁定 生成模型 隐私保护 数值准确性

📋 核心要点

  1. 现有的上下文学习方法在处理结构化数据时面临分布不匹配的挑战，导致生成的稀有类别无法被有效重现。
  2. 论文提出了分类先验锁定的概念，强调了ICL在更新模型先验方面的局限性，并探讨了参数高效微调的潜力与风险。
  3. 实验结果表明，ICL在数值准确性上有所提升，但在分类分布上存在明显的性能瓶颈，LoRA方法虽能改善这一点，但也带来了新的问题。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用作结构化数据的条件生成器，依赖于上下文学习（ICL）来适应新分布而无需更新参数。本文研究了ICL在结构化生成中的局限性，特别是在分布不匹配的情况下，使用高基数表格数据作为受控测试案例，识别出一种称为“分类先验锁定”的结构性失败模式：ICL无法更新从预训练中继承的令牌分布的先验。通过对两个7B参数的开放权重模型进行实验，发现ICL在增加示例时提高了数值准确性，但在分类分布上存在明显的上限，完全无法重现稀有类别。参数高效的微调（LoRA）克服了这些限制，但引入了可测的记忆风险，并在某些情况下使结构化输出生成不稳定，突显了适应性与隐私之间的基本权衡。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在结构化数据生成中因分布不匹配而导致的学习失败，特别是无法更新先验分布的问题。现有的ICL方法在处理高基数分类数据时表现不佳，无法有效生成稀有类别。

核心思路：论文提出了“分类先验锁定”的概念，指出ICL在更新模型的先验分布方面存在固有局限。通过引入参数高效的微调方法（如LoRA），尝试克服这些限制，同时分析其带来的记忆风险和生成不稳定性。

技术框架：研究采用了两个7B参数的开放权重模型进行实验，首先通过ICL方法进行结构化数据生成，然后应用LoRA进行参数微调，比较两者在生成质量和稀有类别重现能力上的差异。

关键创新：最重要的技术创新在于识别并定义了“分类先验锁定”这一现象，揭示了ICL在处理高基数分类数据时的固有缺陷，并提出了LoRA作为一种解决方案，尽管存在新的风险。

关键设计：在实验中，采用了特定的参数设置和损失函数，以优化模型在生成稀有类别时的表现。LoRA的设计旨在提高微调效率，同时尽量减少对模型隐私的影响。实验中还考虑了生成稳定性的问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ICL在数值准确性上有所提升，但在分类分布上存在明显的性能瓶颈，尤其是在稀有类别的生成上完全失败。相比之下，LoRA方法虽然能够改善生成质量，但也引入了可测的记忆风险，且在某些情况下导致生成不稳定，突显了适应性与隐私之间的权衡。

🎯 应用场景

该研究的潜在应用领域包括金融数据分析、医疗记录生成和其他需要高维结构化数据生成的场景。通过改善模型在稀有类别生成上的能力，能够提升数据生成的准确性和可靠性，进而为决策支持系统提供更好的基础。未来，该研究可能推动更高效的模型微调方法的发展，平衡适应性与隐私保护之间的关系。

📄 摘要（原文）

Large language models (LLMs) are increasingly used as conditional generators for structured data, relying on in-context learning (ICL) to adapt to new distributions without parameter updates. We investigate the limits of ICL for structured generation under distribution mismatch, using high-cardinality tabular data as a controlled test case, and identify a structural failure mode we term \textit{categorical prior lock-in}: the inability of ICL to update the model's prior over token distributions inherited from pre-training. Across two 7B-parameter open-weight models, ICL improves numerical fidelity with additional examples but exhibits a sharp ceiling on categorical distributions, failing to reproduce rare classes entirely. Parameter-efficient fine-tuning (LoRA) overcomes these limitations but introduces measurable memorization risk and, in some cases, destabilizes structured output generation, highlighting a fundamental trade-off between adaptability and privacy.