Poller: Are LLMs Suitable for Evaluating the Poetry Understanding Task?
作者: Shanshan Wang, Derek F. Wong, Jingming Yao, Lidia S. Chao
分类: cs.CL
发布日期: 2026-06-29
💡 一句话要点
提出Poller以解决现代汉诗自动评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 诗歌理解 自动评估 大型语言模型 人类评估 修辞技巧 陌生化 文学研究
📋 核心要点
- 现有的自动评估方法无法有效处理现代汉诗的独特性，导致评估结果不准确。
- 论文提出Poller，通过让LLMs模拟诗人的视角，提升诗歌理解的评估质量。
- 实验结果显示，Poller在多个维度上显著降低了评估误差，验证了其有效性和优越性。
📝 摘要（中文）
传统的自动评估方法在现代汉诗的评估中表现不佳，人工评估虽然可靠但成本高且不适用于大规模数据。本文提出Poller（诗歌LLM评估器），利用大型语言模型（LLMs）来评估诗歌理解任务。该方法要求LLMs扮演诗人的角色，通过详细信息模拟人类评估。实验结果表明，Poller显著降低了LLMs与人类之间的评估误差，尤其在修辞技巧和陌生化维度上，分别实现了94.55%和89.53%的误差减少，超越了传统评估方法的性能。此研究为诗歌相关任务的自动评估奠定了基础。
🔬 方法详解
问题定义：本文旨在解决传统自动评估方法在现代汉诗评估中的不足，尤其是无法捕捉诗歌的独特性和复杂性。现有方法往往依赖于表面特征，导致评估结果不可靠。
核心思路：Poller的核心思想是利用大型语言模型（LLMs）模拟诗人的创作视角，从而更准确地评估诗歌的理解和解读。通过这种方式，模型能够更好地理解诗歌的深层含义和艺术价值。
技术框架：Poller的整体架构包括数据输入、LLM处理和输出评估三个主要模块。首先，输入诗歌及相关信息；其次，LLMs根据诗人的视角进行分析；最后，输出评估结果，涵盖多个维度。
关键创新：Poller的最大创新在于将LLMs转变为诗人的角色，模拟人类的评估过程。这一方法与传统的基于特征的评估方法本质上不同，能够更全面地理解诗歌的艺术性。
关键设计：在技术细节上，Poller采用了特定的参数设置和损失函数，以优化LLMs在诗歌评估中的表现。同时，网络结构经过精心设计，以确保模型能够有效捕捉诗歌的多维特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Poller在修辞技巧和陌生化维度上分别实现了94.55%和89.53%的误差减少，显著优于传统评估方法。这一成果验证了Poller在诗歌理解任务中的有效性，展示了其在自动评估领域的潜力。
🎯 应用场景
该研究的潜在应用领域包括教育、文学研究和文化产业等。通过自动化的诗歌评估，能够大幅提高诗歌教学和研究的效率，降低人力成本。同时，为诗歌创作和分析提供新的工具，推动相关领域的发展。
📄 摘要（原文）
Traditional automatic evaluation methods have been shown to be unsuitable for modern Chinese poetry because of the distinct nature of this literary genre. Human evaluation remains reliable, but is expensive and not applicable to large-scale data. In this paper, we propose Poller (Poetry LLM Evaluator), a novel method leveraging large language models (LLMs) to evaluate the poetry understanding task. Specifically, our method requires LLMs to play the role of a poem's author with detailed information, thereby emulating human evaluation and judgment by adopting the poet's perspective. We conducted comprehensive experiments on multiple LLMs, evaluating the interpretations of poems across eight specialized dimensions. Experimental results demonstrate that our method effectively reduces the evaluation error between LLMs and humans. Especially for specific dimension evaluation, Poller-based LLMs achieve a 94.55% and 89.53% error reduction for rhetorical techniques and defamiliarization, respectively, compared to baseline methods. These performances are unattainable by conventional LLM evaluation methods. Experimental results from multiple LLMs across various dimensions validate the efficacy of our method. This work bridges the gap between automated efficiency and human expertise, establishing a foundation for automated evaluation in poetry-related tasks.