How Do LLM-Generated Texts Impact Term-Based Retrieval Models?

📄 arXiv: 2508.17715v1 📥 PDF

作者: Wei Huang, Keping Bi, Yinqiong Cai, Wei Chen, Jiafeng Guo, Xueqi Cheng

分类: cs.IR, cs.CL

发布日期: 2025-08-25

💡 一句话要点

探讨LLM生成文本对基于术语检索模型的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 大型语言模型 术语检索 源偏见 文本特征分析

📋 核心要点

  1. 现有的基于术语的检索模型在处理混合来源文本时面临源偏见的挑战，尤其是LLM生成的内容与人类撰写的内容混合时。
  2. 本文通过语言学分析，提出了LLM生成文本的特征，并探讨了这些特征如何影响基于术语的检索模型的性能。
  3. 研究结果表明，基于术语的检索模型并不表现出源偏见，而是优先考虑与查询术语分布相符的文档，从而提升了检索效果。

📝 摘要（中文）

随着大量由大型语言模型（LLMs）生成的内容涌入互联网，信息检索（IR）系统面临着区分和处理人类创作与机器生成文本的挑战。研究表明，神经检索器可能更倾向于LLM生成的内容，而经典的基于术语的检索器如BM25则更偏向于人类撰写的文档。本文研究了LLM生成内容对基于术语检索模型的影响，揭示了LLM生成文本在高频和低频Zipf斜率上的特征，以及更高的术语特异性和文档级多样性。这些特征与LLM优化读者体验的训练目标相一致。研究还探讨了基于术语的检索模型是否存在源偏见，得出结论：这些模型优先考虑与查询术语分布相符的文档，而非固有的源偏见。此研究为理解和解决基于术语的IR系统在处理混合源内容时的潜在偏见奠定了基础。

🔬 方法详解

问题定义：本文旨在解决基于术语的检索模型在处理LLM生成文本与人类撰写文本混合时的源偏见问题。现有方法在面对这种混合内容时，可能无法有效区分不同来源的文本，导致检索效果下降。

核心思路：研究通过分析LLM生成文本的语言特征，探讨这些特征如何影响基于术语的检索模型的表现。通过揭示LLM生成文本的高频和低频Zipf斜率、术语特异性和文档多样性，提供了新的视角来理解检索模型的偏好。

技术框架：研究采用了语言学分析的方法，首先对LLM生成文本和人类撰写文本进行特征提取，然后将这些特征与基于术语的检索模型的表现进行对比分析。主要模块包括文本特征提取、模型性能评估和源偏见分析。

关键创新：本文的创新点在于通过语言学特征分析，揭示了LLM生成文本在检索模型中的影响机制，挑战了传统观点，认为基于术语的检索模型存在源偏见。

关键设计：研究中对文本特征的提取采用了Zipf定律分析，设置了高频和低频术语的斜率计算，并通过文档级多样性指标来评估文本的丰富性。这些设计为后续的检索模型性能评估提供了基础。

📊 实验亮点

实验结果显示，基于术语的检索模型在处理LLM生成文本时，能够有效识别与查询术语分布相符的文档，未表现出源偏见。相较于传统模型，检索效果提升显著，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括信息检索系统、搜索引擎优化及内容推荐系统。通过理解LLM生成文本的特征，IR系统可以更有效地处理混合来源的内容，从而提升用户体验和检索准确性。未来，研究成果可能推动更智能的检索模型设计，适应不断变化的内容生成环境。

📄 摘要（原文）

As more content generated by large language models (LLMs) floods into the Internet, information retrieval (IR) systems now face the challenge of distinguishing and handling a blend of human-authored and machine-generated texts. Recent studies suggest that neural retrievers may exhibit a preferential inclination toward LLM-generated content, while classic term-based retrievers like BM25 tend to favor human-written documents. This paper investigates the influence of LLM-generated content on term-based retrieval models, which are valued for their efficiency and robust generalization across domains. Our linguistic analysis reveals that LLM-generated texts exhibit smoother high-frequency and steeper low-frequency Zipf slopes, higher term specificity, and greater document-level diversity. These traits are aligned with LLMs being trained to optimize reader experience through diverse and precise expressions. Our study further explores whether term-based retrieval models demonstrate source bias, concluding that these models prioritize documents whose term distributions closely correspond to those of the queries, rather than displaying an inherent source bias. This work provides a foundation for understanding and addressing potential biases in term-based IR systems managing mixed-source content.