Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking

📄 arXiv: 2402.08030v1 📥 PDF

作者: Anjali Khurana, Hari Subramonyam, Parmit K Chilana

分类: cs.HC, cs.AI, cs.LG

发布日期: 2024-02-12

备注: Accepted for publication in the Proceedings of the 29th International Conference on Intelligent User Interfaces (IUI'24), March 18--21, 2024, in Greenville, SC, USA

DOI: 10.1145/3640543.3645200

💡 一句话要点

研究LLM助手在软件帮助中的有效性与局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 软件帮助 用户体验 可解释性 上下文感知 实验研究 信任度 提示优化

📋 核心要点

  1. 现有的LLM助手在软件帮助中存在用户理解不足和信任度低的问题，影响了任务完成率。
  2. 论文提出了SoftAIBot，旨在通过优化提示和提供上下文指导来提升LLM在软件帮助中的有效性。
  3. 实验结果显示，尽管SoftAIBot表现优于基线LLM，但用户对提示的理解和信任并未显著改善，且任务完成率依然较低。

📝 摘要（中文）

大型语言模型（LLM）助手如ChatGPT，已成为用户在复杂软件中寻求帮助的潜在替代方案。本文通过对16名参与者的实验和访谈，比较了基线LLM助手与针对特定软件上下文优化的SoftAIBot。尽管SoftAIBot在性能上优于基线LLM，但结果显示，用户在使用提示指南时并未显著改善对LLM的理解和信任，且大多数用户未能识别LLM建议中的不准确性。这表明，用户在软件专业知识与评估LLM帮助之间存在差距。研究强调了在设计领域特定LLM助手时，需融入可解释性和上下文感知的提示，以提升用户体验。

🔬 方法详解

问题定义：本研究旨在解决用户在使用LLM助手时对软件帮助的理解不足和信任度低的问题。现有方法未能有效提升用户对LLM建议的准确性和相关性的评估能力。

核心思路：论文的核心思路是通过优化LLM助手的提示和提供上下文指导，帮助用户更好地理解LLM的输出，从而提升其在软件任务中的有效性。

技术框架：研究采用了在同一实验中对比基线LLM助手与SoftAIBot的方式，主要模块包括用户任务完成情况、对LLM输出的感知准确性、相关性和信任度的评估。

关键创新：最重要的创新点在于开发了SoftAIBot，专注于特定软件上下文的优化，并提供了构建适当提示的指导。这与现有的通用LLM助手形成了鲜明对比。

关键设计：在实验中，SoftAIBot的设计包括对提示的优化和上下文信息的整合，确保用户能够更清晰地理解LLM的建议，尽管实验结果显示用户仍未能有效识别不准确的建议。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管SoftAIBot在性能上优于基线LLM，但用户在使用提示指南时并未显著改善对LLM的理解和信任，且任务完成率依然较低，显示出用户对LLM建议的依赖性和对不准确性的忽视。

🎯 应用场景

该研究的潜在应用领域包括软件开发、用户支持和教育等，能够为设计更有效的LLM助手提供指导，帮助用户更好地理解和利用这些工具。未来，随着LLM助手的普及，提升其可解释性和上下文感知能力将对用户体验产生深远影响。

📄 摘要（原文）

Large Language Model (LLM) assistants, such as ChatGPT, have emerged as potential alternatives to search methods for helping users navigate complex, feature-rich software. LLMs use vast training data from domain-specific texts, software manuals, and code repositories to mimic human-like interactions, offering tailored assistance, including step-by-step instructions. In this work, we investigated LLM-generated software guidance through a within-subject experiment with 16 participants and follow-up interviews. We compared a baseline LLM assistant with an LLM optimized for particular software contexts, SoftAIBot, which also offered guidelines for constructing appropriate prompts. We assessed task completion, perceived accuracy, relevance, and trust. Surprisingly, although SoftAIBot outperformed the baseline LLM, our results revealed no significant difference in LLM usage and user perceptions with or without prompt guidelines and the integration of domain context. Most users struggled to understand how the prompt's text related to the LLM's responses and often followed the LLM's suggestions verbatim, even if they were incorrect. This resulted in difficulties when using the LLM's advice for software tasks, leading to low task completion rates. Our detailed analysis also revealed that users remained unaware of inaccuracies in the LLM's responses, indicating a gap between their lack of software expertise and their ability to evaluate the LLM's assistance. With the growing push for designing domain-specific LLM assistants, we emphasize the importance of incorporating explainable, context-aware cues into LLMs to help users understand prompt-based interactions, identify biases, and maximize the utility of LLM assistants.