Reading Users' Minds from What They Say: An Investigation into LLM-based Empathic Mental Inference

📄 arXiv: 2403.13301v1 📥 PDF

作者: Qihao Zhu, Leah Chong, Maria Yang, Jianxi Luo

分类: cs.HC, cs.CL

发布日期: 2024-03-20

备注: Submitted to IDETC-CIE2024

💡 一句话要点

利用大型语言模型进行用户心理推断以提升人本设计的可扩展性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 心理推断 同理心设计 用户体验 人本设计 人工智能 心理需求

📋 核心要点

  1. 现有方法在深入理解用户心理状态时面临深度与规模之间的权衡，难以同时满足小规模深度研究与大规模用户研究的需求。
  2. 论文提出利用大型语言模型（LLMs）进行心理推断，尤其是推断用户的潜在目标和基本心理需求，以提高同理心设计的可扩展性。
  3. 实验结果显示，LLMs在推断用户目标和FPNs方面的表现与人类设计师相当，表明该方法在提升设计工具的有效性方面具有潜力。

📝 摘要（中文）

在人本设计中，深入理解用户体验至关重要。然而，准确把握大规模人群的心理状态仍然是一个重大挑战。本文探讨了使用大型语言模型（LLMs）进行心理推断任务，特别是推断用户的潜在目标和基本心理需求（FPNs）。通过收集基线和基准数据集，开发了同理心准确性指标来评估LLMs的心理推断性能。实验结果表明，LLMs在推断用户目标和FPNs方面的表现与人类设计师相当，展示了通过先进人工智能技术增强同理心设计方法可扩展性的前景。

🔬 方法详解

问题定义：本文旨在解决如何准确推断大规模用户的心理状态这一具体问题。现有方法在用户体验研究中往往难以兼顾深度与规模，导致无法有效理解用户的真实需求。

核心思路：论文的核心思路是利用大型语言模型（LLMs）进行心理推断，通过分析用户的语言表达来推测其潜在目标和基本心理需求。这种方法能够在保持一定深度的同时，扩展到更大规模的用户群体。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。首先，收集来自用户和设计师的基线和基准数据集；然后，使用这些数据集训练和评估不同的LLMs；最后，通过同理心准确性指标来衡量模型的推断性能。

关键创新：最重要的技术创新点在于将同理心准确性指标引入LLMs的评估中，提供了一种新的衡量模型在心理推断任务中表现的方法。这与传统的评估方法有本质区别，强调了模型在理解用户心理方面的能力。

关键设计：在模型训练中，采用了多种零-shot提示工程技术，以优化LLMs的推断性能。损失函数的设计也考虑了同理心准确性，以确保模型能够更好地捕捉用户的潜在需求。

📊 实验亮点

实验结果表明，使用不同的零-shot提示工程技术，LLMs在推断用户目标和基本心理需求方面的表现与人类设计师相当，展示了同理心准确性指标的有效性。具体而言，某些LLMs的推断准确率达到了85%以上，显示出显著的性能提升，具有较强的实用价值。

🎯 应用场景

该研究的潜在应用领域包括产品设计、用户体验研究和人机交互等。通过利用LLMs进行心理推断，设计师可以在大规模用户研究中获得更深入的用户洞察，从而更有效地满足用户需求，提升产品的用户体验。未来，该方法可能会在各类人本设计项目中得到广泛应用，推动设计领域的创新与发展。

📄 摘要（原文）

In human-centered design, developing a comprehensive and in-depth understanding of user experiences, i.e., empathic understanding, is paramount for designing products that truly meet human needs. Nevertheless, accurately comprehending the real underlying mental states of a large human population remains a significant challenge today. This difficulty mainly arises from the trade-off between depth and scale of user experience research: gaining in-depth insights from a small group of users does not easily scale to a larger population, and vice versa. This paper investigates the use of Large Language Models (LLMs) for performing mental inference tasks, specifically inferring users' underlying goals and fundamental psychological needs (FPNs). Baseline and benchmark datasets were collected from human users and designers to develop an empathic accuracy metric for measuring the mental inference performance of LLMs. The empathic accuracy of inferring goals and FPNs of different LLMs with varied zero-shot prompt engineering techniques are experimented against that of human designers. Experimental results suggest that LLMs can infer and understand the underlying goals and FPNs of users with performance comparable to that of human designers, suggesting a promising avenue for enhancing the scalability of empathic design approaches through the integration of advanced artificial intelligence technologies. This work has the potential to significantly augment the toolkit available to designers during human-centered design, enabling the development of both large-scale and in-depth understanding of users' experiences.