A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments

📄 arXiv: 2608.24825v1 📥 PDF

作者: Jing Huang, Jihong Zhang, Hua-Hua Chang

分类: cs.AI

发布日期: 2026-08-25

备注: 26 pages, 6 figures

💡 一句话要点

提出双维度框架以解决大规模评估中的内容冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模评估 自动题目生成 内容冗余 大型语言模型 相似性分析 心理测量 计算机自适应测试 结构分解

📋 核心要点

  1. 现有的相似性度量方法无法有效捕捉内容冗余的复杂结构和语义层面，导致评估质量下降。
  2. 本文提出了一种双维度框架，结合结构分解和语义相关性，利用大型语言模型进行自动题目相似性分析。
  3. 实验结果表明，LLM驱动的相似性约束在题目选择中显著提高了估计稳定性，减少了偏差，相较于传统度量方法表现更佳。

📝 摘要（中文）

随着大规模评估的快速扩展和自动题目生成的日益普及，内容冗余问题愈发引起关注。传统的相似性度量方法如BLEU或余弦相似度，往往无法同时捕捉到结构和语义层面的细微差别。本文提出了一种基于大型语言模型的双维度自动题目相似性分析框架，通过结构分解和语义相关性来实现相似性度量。心理测量验证表明，基于LLM的度量与构念无关的局部依赖指标更为一致，并且在计算机自适应测试中的应用显示出更好的估计稳定性和更低的偏差。这些发现突显了LLM驱动的相似性分析在可扩展题库管理和内容敏感测试组装中的潜力。

🔬 方法详解

问题定义：本文旨在解决大规模评估中因构念无关元素导致的内容冗余问题。现有方法如BLEU和余弦相似度无法有效捕捉复杂的结构和语义层面，导致评估结果不准确。

核心思路：提出的双维度框架通过结构分解和语义相关性来实现相似性度量，利用大型语言模型（LLM）来捕捉更深层次的内容关系，从而提高相似性分析的准确性。

技术框架：该框架包括两个主要模块：结构分解模块和语义相关性模块。结构分解模块负责分析题目的结构特征，而语义相关性模块则评估题目间的语义联系。两者结合形成全面的相似性度量。

关键创新：本研究的核心创新在于引入大型语言模型进行相似性分析，能够同时考虑结构和语义层面的信息，显著提升了相似性度量的有效性，与传统方法相比具有本质区别。

关键设计：在模型设计中，采用了特定的损失函数来优化相似性度量的准确性，并通过多层神经网络结构来增强模型的表达能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，基于LLM的相似性约束在题目选择中提高了估计稳定性，偏差降低，且效率损失最小。与传统度量方法相比，LLM驱动的框架在相似性分析中表现出更高的准确性和一致性。

🎯 应用场景

该研究的潜在应用领域包括教育评估、计算机自适应测试和题库管理等。通过提高题目相似性分析的准确性，可以支持更高效的题库维护和测试组装，进而提升评估的整体质量和可靠性。

📄 摘要（原文）

The rapid expansion of large-scale assessments and the growing adoption of automatic item generation have intensified concerns about incidental content redundancy, where construct-irrelevant elements such as wording or contextual framing become unintentionally repetitive across items. Traditional similarity metrics like BLEU or cosine similarity, often fail to capture the nuanced structural and semantic layers that drive perceived redundancy simultaneously. This study proposes a dual-dimensional framework for Automated Item Similarity Analysis (AISA) powered by Large Language Models (LLMs), operationalizing similarity through Structured Decomposition and Semantic Relatedness. Psychometric validation indicates that LLM-derived metrics align more closely with indicators of construct-irrelevant local dependence and yield more coherent item parameter groupings than traditional text-based measures. The framework is further evaluated through its application in Computerized Adaptive Testing (CAT). Simulations reveal that incorporating LLM-based similarity constraints into item selection improves estimation stability and reduces bias with minimal efficiency trade-offs, outperforming constraints based on conventional metrics. These findings highlight the potential of LLM-powered AISA to support scalable bank curation, content-aware test assembly, and experience-sensitive adaptive testing across diverse assessment contexts.