Cross-Dataset Stability of Expert-Informed Skill Prompting and Fine-Tuning for Chinese Metaphor Identification

📄 arXiv: 2608.25579v1 📥 PDF

作者: Yufeng Wu, Meichun Liu

分类: cs.CL

发布日期: 2026-08-26

备注: 6 pages, 1 figure, 5 tables

💡 一句话要点

提出专家指导的技能提示以提升中文隐喻识别的跨数据集稳定性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐喻识别 跨数据集 技能提示 微调 自然语言处理 中文处理 机器学习

📋 核心要点

  1. 隐喻识别在不同数据集上性能差异显著，现有方法在跨数据集适应性上存在不足。
  2. 提出一种专家指导的技能提示方法，旨在通过固定程序提升跨数据集的隐喻识别稳定性。
  3. 实验结果表明，技能提示在外部数据集上表现接近微调，且在不同数据集间的性能波动最小。

📝 摘要（中文）

隐喻识别的性能在不同文本分布和注释政策的数据集上可能显著变化。本文探讨了一种固定的专家指导程序是否能比任务特定的参数适应产生更均匀的跨数据集表现。比较了四种预设条件：BERT微调、基于QLoRA的大语言模型微调、直接零-shot LLM提示和使用冻结程序技能的零-shot提示。评估涵盖CMRE测试和两个外部数据集。结果显示，专家指导的技能提示作为一种补充方法，能实现更均匀的跨数据集表现，而微调在本地数据准确性上仍具优势。

🔬 方法详解

问题定义：本文旨在解决中文隐喻识别在不同数据集上性能不一致的问题。现有的微调方法在跨数据集适应性上存在局限，导致性能波动较大。

核心思路：通过引入专家指导的技能提示，利用固定的程序来实现隐喻识别的稳定性，减少对特定数据集的依赖，从而提高跨数据集的表现。

技术框架：研究比较了四种方法：BERT微调（BERT-FT）、QLoRA微调（LLM-FT）、直接零-shot提示（LLM-ZS）和冻结程序技能的零-shot提示（Skill-ZS）。评估使用CMRE测试和两个外部数据集（CCIME和CMC）。

关键创新：首次将专家指导的程序技能与任务特定的微调方法进行比较，展示了技能提示在跨数据集表现上的优势，尤其是在减少假阳性方面。

关键设计：在实验中，BERT-FT在本地测试集上达到91.76的Macro-F1，而LLM-FT在外部数据集上表现最佳（83.52）。Skill-ZS在外部数据集上接近LLM-FT（82.92），且在所有数据集间的性能波动最小（4.08分）。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，BERT-FT在本地数据集上达到91.76的Macro-F1，LLM-FT在外部数据集上表现最佳（83.52）。Skill-ZS在外部数据集上接近LLM-FT（82.92），且在所有数据集间的性能波动最小，仅为4.08分，显著降低了假阳性率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、教育技术和人机交互等。通过提高隐喻识别的准确性和稳定性，可以在文本分析、情感分析和自动翻译等任务中发挥重要作用，未来可能推动相关领域的研究与应用发展。

📄 摘要（原文）

Metaphor-identification performance can change markedly across datasets that differ in text distribution and annotation policy. We examine whether a fixed expert-informed procedure produces a more even cross-dataset profile than task-specific parameter adaptation. Four prespecified conditions are compared for Chinese sentence-level metaphor identification: BERT fine-tuning (BERT-FT), QLoRA-based large language model fine-tuning (LLM-FT), direct zero-shot LLM prompting (LLM-ZS), and zero-shot prompting with a frozen procedural Skill (Skill-ZS). The Skill operationalizes established criteria involving contextual meaning, basic meaning, contrast, and comparison. Evaluation covers CMRE Test and two external datasets, CCIME and CMC. Fine-tuned scores are means over three seeds, whereas each zero-shot score comes from one deterministic configuration. Fine-tuning remains strongest on the native test set: BERT-FT reaches 91.76 Macro-F1. LLM-FT has the highest external mean (83.52), while Skill-ZS is close at 82.92 and has both the highest external floor (82.64) and the smallest observed range across all three datasets (4.08 points). In the matched zero-shot comparison, adding the Skill reduces metaphorical predictions on every dataset. This sharply lowers false positives on CCIME but increases false negatives on CMRE Test and CMC. The results position expert-informed Skill prompting as a complementary route to more even observed cross-dataset performance, while fine-tuning retains its advantage in native-data accuracy. To our knowledge, this is the first study to compare an expert-informed procedural Skill with task-specific fine-tuning in the same cross-dataset evaluation of Chinese sentence-level metaphor identification.