Comparing Human Role-Players and LLM-Simulated Clients in Online Counselling Training: An Analysis of Counselling Patterns
作者: Eric Rudolph, Philipp Steigerwald, Jens Albrecht
分类: cs.AI, cs.CL
发布日期: 2026-10-29
备注: Published at EDM 2025 (18th International Conference on Educational Data Mining), short paper. 7 pages
期刊: Proceedings of the 18th International Conference on Educational Data Mining (EDM 2025), short papers
💡 一句话要点
比较人类角色扮演者与LLM模拟客户在在线咨询培训中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 在线咨询 角色扮演 沟通模式 教育培训 虚拟客户模拟
📋 核心要点
- 核心问题：现有的咨询培训方法在模拟客户互动时，缺乏有效的工具来评估咨询师的沟通能力与互动质量。
- 方法要点：本研究通过比较人类角色扮演者与LLM模拟客户的互动，分析咨询师的沟通模式，探索LLM在角色扮演中的应用潜力。
- 实验或效果：研究发现LLM生成的回应在某些方面能够模拟真实对话，且咨询师在与不同类型客户互动时的行为存在显著差异。
📝 摘要（中文）
本研究探讨了大型语言模型（LLM）在教育角色扮演中模拟咨询客户的能力，并与人类角色扮演者进行了比较。研究记录了新手咨询师与人类客户的角色扮演会话，随后又进行了人类与使用4位量化的Mistrals Mixtral 8x7b模拟客户的角色扮演。通过句子级别的咨询沟通模式系统分析这些互动，研究了两个关键问题：LLM生成的回应在多大程度上复制了真实的对话动态，以及咨询师在与人类和LLM模拟客户互动时的沟通行为是否存在差异。研究结果突显了在不同场景下咨询模式的相似性与差异性，展示了基于LLM的角色扮演练习在提升咨询能力和识别虚拟客户模拟改进领域的潜力。
🔬 方法详解
问题定义：本研究旨在解决现有咨询培训中缺乏有效模拟客户互动的工具，导致咨询师沟通能力评估困难的问题。现有方法往往依赖于人类角色扮演者，限制了可扩展性和一致性。
核心思路：论文的核心思路是利用大型语言模型（LLM）模拟客户，以提供一种新的角色扮演方式，帮助咨询师在更广泛的场景中进行训练。通过对比人类与LLM模拟客户的互动，研究其对咨询师沟通行为的影响。
技术框架：整体架构包括两个主要阶段：首先记录新手咨询师与人类客户的角色扮演会话；其次，使用Mistrals Mixtral 8x7b模拟客户进行角色扮演。分析阶段采用句子级别的咨询沟通模式系统对互动进行评估。
关键创新：本研究的关键创新在于首次系统性地比较了人类与LLM模拟客户在咨询互动中的表现，揭示了LLM在模拟真实对话动态方面的潜力，并为咨询培训提供了新的视角。
关键设计：在实验中，使用了4位量化的Mistrals Mixtral 8x7b模型进行客户模拟，确保了生成回应的质量和多样性。分析过程中，采用了标准化的咨询沟通模式系统，以确保评估的一致性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM生成的回应在模拟真实对话方面表现出一定的相似性，咨询师在与人类客户互动时的沟通行为与与LLM模拟客户的互动存在显著差异。这一发现为LLM在咨询培训中的应用提供了实证支持，展示了其在提升咨询能力方面的潜力。
🎯 应用场景
该研究的潜在应用领域包括心理咨询、教育培训和人机交互等。通过利用LLM进行角色扮演，可以为咨询师提供更为灵活和可扩展的训练工具，提升其沟通能力，并为未来的虚拟客户模拟提供基础。此研究的成果可能会推动在线咨询培训的发展，促进更高效的学习与实践。
📄 摘要（原文）
This study investigates the capabilities of Large Language Models to simulate counselling clients in educational role-plays in comparison to human role-players. Initially, we recorded role-playing sessions, where novice counsellors interacted with human peers acting as clients, followed by role-plays between humans and clients simulated by Mistrals Mixtral 8x7b using 4-bit quantization. These interactions were analysed with a counselling communication pattern system at sentence level. We investigated two key questions: (1) to what extent LLM-generated responses replicate authentic conversational dynamics and (2) whether counsellors' communication behaviour differs when interacting with human versus LLM-simulated clients. The findings highlight both similarities and differences in the application of counselling patterns across scenarios, showing the potential of LLM-based role-playing exercises to enhance counselling competencies and to identify areas for further refinement in virtual client simulations.