When Respondents Are Scarce: LLM-Derived Semantic Priors for Bayesian Confirmatory Factor Analysis

📄 arXiv: 2610.34843v1 📥 PDF

作者: Shaohuai Feng, Mohd Wira Mohd Shafiei, Mohd Sukri Shafie, Siyang Tian

分类: cs.LG

发布日期: 2026-10-26

备注: 8figures

💡 一句话要点

提出语义经验更新框架以解决小样本贝叶斯确认性因子分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯确认性因子分析 小样本研究 语义先验 大型语言模型 社会科学研究 因子结构估计 数据稀缺

📋 核心要点

  1. 在小样本情况下，传统的确认性因子分析（CFA）方法面临加载精度不足的问题，影响研究结果的可靠性。
  2. 本文提出的语义经验更新框架（SEUF）利用大型语言模型生成的语义信息作为先验，以改善小样本的因子分析结果。
  3. 实验结果表明，SEUF在50名受访者的情况下，加载误差显著低于传统CFA，且在公共调查中显示出更好的可信区间覆盖率。

📝 摘要（中文）

在社会和行为研究中，测量潜在构念常常面临样本量小或难以接触的挑战。招募额外受访者可能成本高昂或不可行，导致研究者在估计问卷因子结构时数据有限。本文提出语义经验更新框架（SEUF），将大型语言模型的释义和嵌入与假设的项目-因子分配对齐，转化为贝叶斯确认性因子分析的预设先验。通过对617名工业园区利益相关者的38项调查和两个公共调查的评估，SEUF在受访者数量仅为50时，达到了与传统CFA在70-82名受访者时相当的加载精度，显示出在信息稀缺情况下语义先验的价值。

🔬 方法详解

问题定义：本文旨在解决在小样本情况下，传统贝叶斯确认性因子分析（CFA）加载精度不足的问题。现有方法在样本量有限时，往往无法提供可靠的因子结构估计。

核心思路：论文提出的语义经验更新框架（SEUF）通过将大型语言模型生成的释义和嵌入与假设的项目-因子分配对齐，转化为贝叶斯CFA的先验信息，从而提高小样本的因子分析精度。

技术框架：SEUF的整体架构包括数据预处理、语义信息提取、先验生成和贝叶斯因子分析四个主要模块。首先，通过大型语言模型生成问卷项目的语义释义，然后将其与假设的因子结构进行对齐，最后在贝叶斯框架下进行因子分析。

关键创新：SEUF的主要创新在于利用语义信息作为先验，显著提高了小样本情况下的因子分析精度。这一方法与传统CFA的本质区别在于不依赖于大量的实证数据，而是利用已有的语义结构信息。

关键设计：在SEUF中，关键参数包括语义嵌入的维度和先验分布的选择。损失函数设计为最小化加载误差，同时确保可信区间的覆盖率。网络结构采用了适合处理文本数据的深度学习模型，以提取有效的语义特征。

📊 实验亮点

实验结果显示，SEUF在仅有50名受访者的情况下，加载精度与传统CFA在70-82名受访者时相当，加载误差显著降低，可信区间覆盖率也有所提升。这表明在信息稀缺情况下，语义先验的应用具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括社会科学、心理学和市场研究等领域，尤其适用于样本量小或难以接触的群体。通过提高小样本情况下的因子分析精度，SEUF为研究者提供了一种更为高效的测量工具，可能推动相关领域的实证研究进展。

📄 摘要（原文）

Across social and behavioral research, measuring latent constructs can be challenging when target populations are small or difficult to reach. Recruiting additional respondents may be costly or infeasible, leaving researchers with limited data for estimating questionnaire factor structures. Yet item wording contains structural expectations before data collection, and whether these can improve small-sample estimation without replacing empirical validation remains unclear. We introduce the Semantic-Empirical Updating Framework (SEUF), which converts large language model paraphrases and embeddings, aligned with hypothesized item-factor assignments, into prespecified priors for Bayesian confirmatory factor analysis. We evaluated SEUF using a 38-item survey of 617 industrial-park stakeholders and two public surveys, FEVS and RIASEC. Semantic structure persisted after wording controls across all three instruments. With 50 respondents, SEUF achieved loading precision comparable to conventional CFA with 70-82 respondents, equivalent to 29-39% fewer respondents at the specified precision benchmark. Results showed lower loading errors and improved credible-interval coverage relative to conventional CFA in both public surveys. Gains were greatest when respondent data were limited, highlighting the value of semantic priors under information scarcity. By harnessing structural information already embedded in questionnaires, SEUF advances a more resource-efficient approach to measurement and opens new directions for study design and empirical inference in hard-to-reach populations.