A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations

📄 arXiv: 2505.14106v2 📥 PDF

作者: Li Li, Peilin Cai, Ryan A. Rossi, Franck Dernoncourt, Branislav Kveton, Junda Wu, Tong Yu, Linxin Song, Tiankai Yang, Yuehan Qin, Nesreen K. Ahmed, Samyadeep Basu, Subhojyoti Mukherjee, Ruiyi Zhang, Zhengmian Hu, Bo Ni, Yuxiao Zhou, Zichao Wang, Yue Huang, Yu Wang, Xiangliang Zhang, Philip S. Yu, Xiyang Hu, Yue Zhao

分类: cs.CL, cs.AI

发布日期: 2025-05-20 (更新: 2025-05-25)

💡 一句话要点

提出PersonaConvBench以评估个性化对话生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化对话 大型语言模型 情感分类 多轮对话 基准测试 自然语言处理 用户中心生成

📋 核心要点

  1. 现有方法往往孤立地关注个性化或对话结构，缺乏综合评估的基准。
  2. 论文提出PersonaConvBench，通过整合个性化和对话结构，设计了三项核心任务以评估LLMs的表现。
  3. 实验结果显示，引入个性化历史显著提升了LLMs的性能，情感分类任务中相较于非对话基线提升198%。

📝 摘要（中文）

我们提出了PersonaConvBench，这是一个大规模基准，用于评估大型语言模型（LLMs）在多轮对话中的个性化推理和生成能力。与现有研究单独关注个性化或对话结构不同，PersonaConvBench将两者结合，提供了句子分类、影响回归和用户中心文本生成三项核心任务，覆盖十个多样的基于Reddit的领域。该设计使得系统分析个性化对话上下文如何影响LLM输出成为可能。我们在统一提示设置下对多种商业和开源LLMs进行了基准测试，观察到引入个性化历史显著提升了性能，包括在情感分类中相较于最佳非对话基线提高了198%的相对增益。通过发布PersonaConvBench及其评估和代码，我们旨在支持研究能够适应个体风格、跟踪长期上下文并生成丰富、引人入胜的响应的LLMs。

🔬 方法详解

问题定义：本论文旨在解决现有对话生成模型在个性化和对话结构评估方面的不足，现有方法往往无法全面反映个性化对话的复杂性和多样性。

核心思路：通过构建PersonaConvBench，论文将个性化与对话结构结合，设计了多项任务以系统性地评估LLMs在个性化对话中的表现。

技术框架：PersonaConvBench包含三个主要模块：句子分类、影响回归和用户中心文本生成，覆盖十个不同的Reddit领域，允许对多轮对话进行全面分析。

关键创新：最重要的创新在于将个性化历史与对话生成结合，形成了一个统一的评估框架，显著提升了模型在情感分类等任务中的表现。

关键设计：在实验中，采用了统一的提示设置，设计了特定的损失函数以优化个性化生成，并通过多轮对话的上下文信息来增强模型的响应能力。

📊 实验亮点

实验结果表明，引入个性化历史后，多个LLMs在情感分类任务中表现出显著提升，尤其是相较于最佳非对话基线，性能提升达198%。这一结果展示了个性化对话生成的重要性及其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能客服、社交机器人和个性化推荐系统等。通过提升对话系统的个性化能力，能够更好地满足用户需求，提供更为自然和人性化的交互体验，未来可能在多种人机交互场景中发挥重要作用。

📄 摘要（原文）

We present PersonaConvBench, a large-scale benchmark for evaluating personalized reasoning and generation in multi-turn conversations with large language models (LLMs). Unlike existing work that focuses on either personalization or conversational structure in isolation, PersonaConvBench integrates both, offering three core tasks: sentence classification, impact regression, and user-centric text generation across ten diverse Reddit-based domains. This design enables systematic analysis of how personalized conversational context shapes LLM outputs in realistic multi-user scenarios. We benchmark several commercial and open-source LLMs under a unified prompting setup and observe that incorporating personalized history yields substantial performance improvements, including a 198 percent relative gain over the best non-conversational baseline in sentiment classification. By releasing PersonaConvBench with evaluations and code, we aim to support research on LLMs that adapt to individual styles, track long-term context, and produce contextually rich, engaging responses.