Keeping Users Engaged During Repeated Administration of the Same Questionnaire: Using Large Language Models to Reliably Diversify Questions
作者: Hye Sun Yun, Mehdi Arjmand, Phillip Sherlock, Michael K. Paasche-Orlow, James W. Griffith, Timothy Bickmore
分类: cs.HC, cs.AI, cs.CL
发布日期: 2023-11-21 (更新: 2024-07-06)
备注: 10 pages, ACM International Conference on Intelligent Virtual Agents (IVA '24)
💡 一句话要点
利用大型语言模型生成多样化问卷以提高用户参与度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 问卷设计 用户参与度 心理测量 虚拟代理
📋 核心要点
- 现有的虚拟代理管理问卷在重复使用时容易导致受访者疲劳，影响数据质量和响应率。
- 本文提出利用大型语言模型生成多样化的问卷版本，以保持心理测量特性并提高参与度。
- 实验结果显示，LLM生成的问卷变体在重复性上显著低于标准化问卷，且有效性和可靠性得到验证。
📝 摘要（中文）
标准化的验证问卷在研究和医疗中至关重要，提供可靠的自我报告数据。然而，虚拟代理管理的问卷在重复使用时可能导致受访者疲劳，从而影响数据质量。本文提出利用大型语言模型（LLMs）生成多样化的问卷版本，同时保持良好的心理测量特性。在一项为期两周的纵向研究中，参与者与代理系统互动并每日回答不同版本的问卷。结果表明，LLM生成的问卷变体在重复性上显著低于标准化问卷，且在有效性和可靠性上与验证问卷一致，展示了LLM生成变体在增强问卷参与度方面的潜力。
🔬 方法详解
问题定义：本文旨在解决虚拟代理管理问卷在重复使用中导致的受访者疲劳问题，现有方法在长时间使用时容易引发响应偏差和响应率下降。
核心思路：通过利用大型语言模型生成多样化的问卷版本，保持问卷的心理测量特性，同时减少重复性，从而提高用户的参与度和兴趣。
技术框架：研究设计包括三个主要模块：1）标准化抑郁问卷；2）LLM生成的问卷变体；3）LLM生成的小谈话内容。参与者每日与代理系统互动，回答不同版本的问卷。
关键创新：最重要的创新在于使用大型语言模型生成问卷变体，显著降低了问卷的重复性，同时保持了有效性和可靠性，与传统方法相比具有本质区别。
关键设计：在实验中，采用了标准化抑郁问卷作为基线，LLM生成的问卷变体经过心理测量测试，确保其有效性和可靠性，具体参数设置和损失函数未在摘要中详细说明，待进一步研究确认。
🖼️ 关键图片
📊 实验亮点
实验结果显示，参与者认为LLM生成的问卷变体在重复性上显著低于标准化问卷，且在有效性和可靠性方面与验证问卷一致，表明LLM生成的问卷在增强用户参与度方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括心理健康评估、医疗问卷调查和社会科学研究等。通过引入LLM生成的多样化问卷，可以有效提高用户的参与度，减少疲劳感，从而提升数据质量和研究结果的可靠性。未来，类似的方法可能在其他类型的问卷和调查中得到广泛应用，推动问卷设计的创新。
📄 摘要（原文）
Standardized, validated questionnaires are vital tools in research and healthcare, offering dependable self-report data. Prior work has revealed that virtual agent-administered questionnaires are almost equivalent to self-administered ones in an electronic form. Despite being an engaging method, repeated use of virtual agent-administered questionnaires in longitudinal or pre-post studies can induce respondent fatigue, impacting data quality via response biases and decreased response rates. We propose using large language models (LLMs) to generate diverse questionnaire versions while retaining good psychometric properties. In a longitudinal study, participants interacted with our agent system and responded daily for two weeks to one of the following questionnaires: a standardized depression questionnaire, question variants generated by LLMs, or question variants accompanied by LLM-generated small talk. The responses were compared to a validated depression questionnaire. Psychometric testing revealed consistent covariation between the external criterion and focal measure administered across the three conditions, demonstrating the reliability and validity of the LLM-generated variants. Participants found that the variants were significantly less repetitive than repeated administrations of the same standardized questionnaire. Our findings highlight the potential of LLM-generated variants to invigorate agent-administered questionnaires and foster engagement and interest, without compromising their validity.