Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories
作者: Zhaoji Wang, Wanyu Si, Jun Wang
分类: cs.CL, cs.AI, cs.DL
发布日期: 2026-07-30
备注: 9 pages, 4 figures, 3 tables
💡 一句话要点
提出基于大语言模型的细粒度文本互文性提取方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 互文性分析 大语言模型 文本重用 古典文学 专家审定 数据集构建 文化研究
📋 核心要点
- 现有的互文性计算方法主要依赖于字符串匹配和相似度评分，无法深入理解文本重用的具体方式和原因。
- 本文提出了一种基于大语言模型的代理任务，通过精确标注文本重用实例，增强了互文性提取的细粒度和准确性。
- 实验结果显示，所提方法在精确度上达到了56%-93%，并建立了一个包含2533对互文性的专家审定基准，展示了显著的性能提升。
📝 摘要（中文）
计算方法在互文性研究中已从字符串匹配发展到神经检索，但现有输出仅提供相似度分数和并行段落列表，未能深入分析文本重用的方式和原因。本文将细粒度互文性提取重构为一种代理任务，利用大语言模型（LLM）全面阅读两个文本单元，并通过受限工具接口将每个重用实例与具体字符范围关联，并根据五维重用类型进行标注。通过对《论语》和《汉书》的全面比较验证该方法，最终建立了一个包含2533对互文性的基准数据集。我们对12个LLM进行了研究，报告了精确度（56%-93%）和成本差异，并分析了模型置信度的校准情况。该研究为互文性分析提供了新的视角和方法。
🔬 方法详解
问题定义：本文旨在解决现有互文性提取方法无法深入分析文本重用方式和原因的问题。现有方法主要提供相似度分数，缺乏对文本重用的细致理解。
核心思路：论文将互文性提取视为一种代理任务，利用大语言模型全面分析两个文本单元，通过受限工具接口将重用实例与具体字符范围关联，并进行五维标注。这种设计旨在提高互文性分析的细粒度和准确性。
技术框架：整体架构包括文本输入模块、重用提取模块和标注模块。文本输入模块负责接收两个文本单元，重用提取模块利用大语言模型进行分析，标注模块则根据五维重用类型对提取结果进行标注。
关键创新：最重要的技术创新在于将互文性提取转化为代理任务，并通过五维标注体系对文本重用进行细致分类。这与传统方法的相似度评分本质上有所不同，提供了更深入的分析能力。
关键设计：在模型设计中，采用了特定的损失函数以优化重用实例的提取精度，并通过专家审定的基准数据集进行模型训练和验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在互文性提取的精确度上达到了56%-93%，并且在与传统方法的对比中，展示了51倍的成本差异，表明在相似质量下的显著成本效益。此外，专家一致性分析显示，文本表面可读的维度标注一致性较高，而需要推断意图的维度则存在争议，反映了该方法的可靠性和局限性。
🎯 应用场景
该研究的潜在应用领域包括古典文学研究、文本分析和文化研究等。通过提供更为细致的互文性分析工具，研究者可以更深入地理解文本之间的关系和文化传承，推动相关领域的学术进展。未来，该方法也可扩展至其他语言和文本类型的互文性研究，具有广泛的实际价值和影响力。
📄 摘要（原文）
Computational approaches to intertextuality have advanced from string matching to neural retrieval, yet their outputs, similarity scores and parallel-passage lists, identify where texts reuse one another without characterizing how or why. We recast fine-grained intertextuality extraction as an agentic task in which a large language model (LLM) reads two text units in full and, through a constrained tool interface, must ground each proposed reuse in exact character spans on both sides and label it under a five-dimension typology of reuse (form, aspect, source-marking, function, stance). We validate the approach on an exhaustive comparison of the Analects with the Book of Han, where three domain experts adjudicate a pooled multi-model candidate set into a benchmark of 2,533 intertextual pairs. Against this standard we study twelve LLMs, reporting precision (56%-93%), a 51$\times$ cost spread at comparable quality, and how well their confidence is calibrated. Expert agreement traces a reliability gradient: dimensions legible on the textual surface are annotated consistently, while those requiring inference of intent are contested, delimiting the claims such annotation supports. Scaling the validated extractor to the full Twenty-Four Histories (65,380 comparisons, 5,766 pairs) recovers corpus-level structure a similarity score cannot express. The interpretive composition of citation shows no systematic change across eighteen centuries, yet the same passage is quoted less and less literally. Stability in the aggregate with drift in the individual case is what a cultural-attraction account expects. We release the extraction protocol and the expert-adjudicated benchmark.