Adapting LLM-SC to Living Sacred Heritage: Domain-Specific Extraction, Semantic Networks and Human Evaluation on Pashupatinath Temple Reviews

📄 arXiv: 2610.35685v1 📥 PDF

作者: Hari Sitaula, Manish Sakhakarmy, Pujan Pant, Sagar Newpane

分类: cs.CL, cs.AI

发布日期: 2026-10-26

💡 一句话要点

提出LLM-SC框架以解决活态文化遗产数据提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化遗产 数据提取 情感分析 实体识别 关系提取 旅游评论

📋 核心要点

  1. 现有的LLM管道在处理活态文化遗产评论时，常常无法准确提取与仪式和文化相关的细节，导致信息丢失。
  2. 本文通过适配LLM-SC框架，构建了一个包含特定文化背景的实体分类和关系模型，以提高数据提取的准确性和全面性。
  3. 实验结果显示，精确度为41.0%，召回率为21.8%，而方面存在的F1值为53.6%，表明该方法在特定领域的有效性和适用性。

📝 摘要（中文）

大型语言模型（LLM）管道能够将游客评论转化为结构化数据，但通用方案可能忽略活态文化遗产地的仪式、神圣空间、文化限制和情感混合体验。本文将LLM-Social Computing（LLM-SC）框架适配于尼泊尔的帕苏帕提纳特庙，构建了一个包含12种实体类型的分类体系，并在GPT-4o提取提示中应用了四种关系类型和九种方面-情感维度。通过对2500条英文Tripadvisor评论的分析，得到了11,286个实体记录、6,232个方面-情感记录和5,590个关系记录，新增的八种文化遗产类型占实体记录的64.8%。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在提取活态文化遗产评论时的不足，尤其是对文化细节和情感的捕捉不够准确。

核心思路：通过适配LLM-SC框架，构建一个包含12种实体类型的分类体系，增强对文化遗产相关信息的提取能力。

技术框架：整体流程包括数据采集、实体和关系提取、情感分析等模块，使用GPT-4o进行信息提取。

关键创新：引入了八种特定的文化遗产实体类型，显著提高了对文化细节的捕捉能力，与传统方法相比具有更高的适应性和准确性。

关键设计：在提取提示中设置了12种实体类型、四种关系类型和九种方面-情感维度，确保了提取结果的多样性和准确性。

📊 实验亮点

实验结果显示，针对200条评论的精确度为41.0%，召回率为21.8%，而方面存在的F1值为53.6%。人类评审支持了78.9%的关系候选，表明该方法在特定领域的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括旅游评论分析、文化遗产保护和智能推荐系统。通过准确提取文化信息，能够为游客提供更丰富的体验，同时为文化遗产的研究和保护提供数据支持，具有重要的实际价值和社会影响。

📄 摘要（原文）

Large language model (LLM) pipelines can turn visitor reviews into structured data, but generic schemes may miss rituals, sacred spaces, cultural restrictions and emotionally mixed experiences at living sacred heritage sites. We adapted the LLM-Social Computing (LLM-SC) framework to Pashupatinath Temple, Nepal, by specifying a 12-type entity taxonomy (four original LLM-SC types plus eight sacred-heritage types), four relation types and nine aspect-sentiment dimensions in a GPT-4o extraction prompt, which was applied to a fixed random sample of 2,500 English-language Tripadvisor reviews from a processed corpus of 3,939. The exports contain 11,286 entity, 6,232 aspect-sentiment and 5,590 relation records, covering 2,485, 2,487 and 2,433 reviews, respectively; the eight added sacred-heritage types account for 64.8% of entity records. Against an adjudicated two-annotator reference for 200 reviews, exact normalized surface-and-type matching gave provisional entity scores of 41.0% precision, 21.8% recall and 28.4% micro-F1. Aspect-presence F1 was 53.6% and end-to-end aspect-plus-polarity F1 was 42.6%. Human adjudication supported 153 of 194 first-listed relation candidates (one per review; 78.9%), a candidate-level rate that does not estimate relation recall or whole-graph precision. The contribution is a culturally grounded, domain-specific adaptation with component-wise human evaluation and explicit reproducibility and generalization limitations.