Evaluating LLM Adaptation to Sociodemographic Factors: User Profile vs. Dialogue History

📄 arXiv: 2505.21362v1 📥 PDF

作者: Qishuai Zhong, Zongmin Li, Siqi Fan, Aixin Sun

分类: cs.CL, cs.AI, cs.HC

发布日期: 2025-05-27

💡 一句话要点

提出框架评估LLM对社会人口特征的适应性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会人口特征 对话历史 用户适应性 推理能力 个性化对话 价值表达

📋 核心要点

  1. 现有方法在评估LLM的行为适应性时，通常只关注单轮提示，忽视了多轮对话历史的影响。
  2. 本文提出的框架通过显式用户资料和隐式对话历史两种方式评估LLM的适应性，提供了更全面的视角。
  3. 实验结果表明，大多数模型在应对人口特征变化时能够调整表达，尤其在年龄和教育水平方面表现突出。

📝 摘要（中文）

有效的用户互动需要大型语言模型（LLMs）根据用户的社会人口特征（如年龄、职业和教育水平）调整响应。尽管许多实际应用利用对话历史进行上下文化，现有的LLM行为适应性评估往往集中在单轮提示上。本文提出了一种框架，评估在用户资料显式引入或通过多轮对话历史隐式引入属性时LLM的适应性。通过构建一个合成数据集，将对话历史与不同用户资料配对，并使用价值调查模块（VSM 2013）中的问题探讨价值表达。研究发现，大多数模型在面对人口特征变化时会调整其表达的价值，尤其是在年龄和教育水平方面，但一致性存在差异。具有更强推理能力的模型表现出更高的一致性，表明推理在稳健的社会人口适应性中至关重要。

🔬 方法详解

问题定义：本文旨在解决现有LLM在适应用户社会人口特征时的评估不足，尤其是缺乏对多轮对话历史的考虑。

核心思路：通过构建一个框架，比较显式用户资料与隐式对话历史对LLM行为适应性的影响，强调推理能力的重要性。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集结合了不同用户资料与对话历史，模型通过多轮对话进行训练和评估。

关键创新：提出了一个新的评估框架，能够同时考虑用户资料和对话历史对LLM适应性的影响，这是与现有方法的本质区别。

关键设计：在数据集构建中，使用了价值调查模块中的问题，模型训练时关注推理能力的提升，确保模型在不同人口特征下的表现一致性。

📊 实验亮点

实验结果显示，大多数模型在面对人口特征变化时能够调整其表达，特别是在年龄和教育水平方面，表现出显著的适应性。具有更强推理能力的模型在一致性方面表现更佳，表明推理能力对社会人口适应性的重要性。

🎯 应用场景

该研究的潜在应用领域包括个性化对话系统、智能客服和教育辅导等。通过更好地理解用户的社会人口特征，LLM能够提供更符合用户需求的响应，从而提升用户体验和满意度。未来，这种适应性可能会在多种人机交互场景中发挥重要作用。

📄 摘要（原文）

Effective engagement by large language models (LLMs) requires adapting responses to users' sociodemographic characteristics, such as age, occupation, and education level. While many real-world applications leverage dialogue history for contextualization, existing evaluations of LLMs' behavioral adaptation often focus on single-turn prompts. In this paper, we propose a framework to evaluate LLM adaptation when attributes are introduced either (1) explicitly via user profiles in the prompt or (2) implicitly through multi-turn dialogue history. We assess the consistency of model behavior across these modalities. Using a multi-agent pipeline, we construct a synthetic dataset pairing dialogue histories with distinct user profiles and employ questions from the Value Survey Module (VSM 2013) (Hofstede and Hofstede, 2016) to probe value expression. Our findings indicate that most models adjust their expressed values in response to demographic changes, particularly in age and education level, but consistency varies. Models with stronger reasoning capabilities demonstrate greater alignment, indicating the importance of reasoning in robust sociodemographic adaptation.