DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

📄 arXiv: 2509.09524v1 📥 PDF

作者: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

分类: cs.CL, cs.LG

发布日期: 2025-09-11

备注: 11 pages, 4 figures; to appear at NLPerspectives@EMNLP-2025

💡 一句话要点

DeMeVa团队探索上下文学习和标签分布学习，用于建模视角差异性标注任务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 标签分布学习 视角主义 自然语言处理 RoBERTa 软标签预测 学习异议

📋 核心要点

  1. 现有方法难以有效建模不同标注者之间的视角差异，导致标注结果存在不一致性。
  2. 利用上下文学习（ICL）预测个体标注者的标注，并将预测结果聚合为软标签，从而捕捉视角差异。
  3. 实验表明，ICL方法能够有效预测个体标注，且标签分布学习（LDL）在软标签预测方面具有潜力。

📝 摘要（中文）

本文介绍了DeMeVa团队在第三届“学习异议”（LeWiDi 2025）共享任务中的方法。我们探索了两个方向：一是使用大型语言模型进行上下文学习（ICL），并比较了不同的示例抽样策略；二是使用RoBERTa模型进行标签分布学习（LDL），并评估了几种微调方法。我们的贡献有两方面：（1）我们表明ICL可以有效地预测特定标注者的标注（视角主义标注），并且将这些预测聚合为软标签可以产生有竞争力的性能；（2）我们认为LDL方法对于软标签预测很有前景，值得视角主义社区进一步探索。

🔬 方法详解

问题定义：论文旨在解决学习异议（LeWiDi）任务中，如何有效建模不同标注者视角差异的问题。现有方法难以捕捉个体标注者的主观判断，导致模型性能受限。该任务的核心挑战在于如何利用有限的标注数据，学习到不同标注者对同一文本的不同理解。

核心思路：论文的核心思路是利用上下文学习（ICL）和标签分布学习（LDL）两种方法，分别从不同角度建模视角差异。ICL通过提供少量示例，引导大型语言模型模仿特定标注者的标注风格。LDL则直接学习软标签的分布，从而捕捉标注者之间的细微差异。

技术框架：整体框架包含两个主要分支：ICL分支和LDL分支。ICL分支首先使用不同的抽样策略选择示例，然后利用大型语言模型预测个体标注者的标注。接着，将这些预测结果聚合为软标签。LDL分支则使用RoBERTa模型，通过不同的微调方法学习软标签的分布。

关键创新：论文的关键创新在于将ICL方法应用于视角主义标注任务，并证明了其有效性。此外，论文还提出了将个体标注者的预测结果聚合为软标签的策略，从而更好地利用了标注数据中的信息。同时，论文强调了LDL方法在软标签预测方面的潜力，为未来的研究方向提供了新的思路。

关键设计：在ICL分支中，论文比较了不同的示例抽样策略，例如随机抽样和基于相似度的抽样。在LDL分支中，论文评估了几种微调方法，例如直接微调和对抗训练。此外，论文还设计了合适的损失函数，例如KL散度，用于衡量预测标签分布和真实标签分布之间的差异。

📊 实验亮点

实验结果表明，ICL方法在预测个体标注者标注方面表现出色，并且将个体预测聚合为软标签能够获得具有竞争力的性能。此外，LDL方法在软标签预测方面展现出潜力，值得进一步研究。具体性能数据未知，但论文强调了ICL和LDL在建模视角差异方面的有效性。

🎯 应用场景

该研究成果可应用于情感分析、观点挖掘、文本摘要等领域，提升模型在处理主观性文本时的准确性和鲁棒性。通过建模视角差异，可以更好地理解用户意图，从而改进推荐系统、对话系统等应用。未来，该方法有望应用于更广泛的人工智能领域，例如辅助决策、智能客服等。

📄 摘要（原文）

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.