Determinants of LLM-assisted Decision-Making

📄 arXiv: 2402.17385v1 📥 PDF

作者: Eva Eigner, Thorsten Händler

分类: cs.AI, cs.HC

发布日期: 2024-02-27

💡 一句话要点

提出LLM辅助决策的影响因素分析框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 决策支持 心理因素 技术透明度 人机协作 依赖框架 信息处理

📋 核心要点

  1. 现有研究对LLM辅助决策的影响因素理解不足，导致用户难以有效利用其优势。
  2. 本研究通过文献分析，提出了一个依赖框架，系统化了影响LLM辅助决策的多种因素及其相互关系。
  3. 研究结果显示，信任和信息处理特征等因素显著影响决策质量，为人机协作提供了改进方向。

📝 摘要（中文）

决策是日常生活中的基本能力。大型语言模型（LLMs）在增强人类决策过程中提供了多方面的支持。然而，理解影响LLM辅助决策的因素对于帮助个人利用LLM的优势并降低相关风险至关重要。本研究通过全面的文献分析，提供了影响LLM支持决策的因素的结构性概述和详细分析。我们探讨了LLM的技术方面、心理因素及决策特定因素的影响，并通过多个应用场景展示了这些因素对决策过程的影响。基于分析，我们开发了一个依赖框架，系统化了这些因素之间的相互依赖关系。研究结果表明，信任、用户心理模型和信息处理特征是影响LLM辅助决策的重要因素。

🔬 方法详解

问题定义：本研究旨在解决对LLM辅助决策影响因素的理解不足，现有方法未能全面考虑技术、心理和决策特定因素的相互作用。

核心思路：通过文献分析，识别并系统化影响LLM辅助决策的多维因素，构建依赖框架以揭示这些因素之间的相互关系。

技术框架：研究采用文献分析法，首先识别影响因素，然后构建依赖框架，最后通过应用场景验证这些因素的影响。主要模块包括文献综述、因素识别、框架构建和应用验证。

关键创新：提出了一个系统化的依赖框架，揭示了技术、心理和决策特定因素之间的相互依赖关系，这是现有研究所缺乏的。

关键设计：在框架构建中，重点考虑了透明度、情感、决策风格、任务难度和责任感等因素的相互作用，并通过应用场景验证其有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，信任和信息处理特征等因素对LLM辅助决策具有显著影响。通过构建的依赖框架，能够系统化理解这些因素的相互作用，为未来的实证研究提供了基础。

🎯 应用场景

该研究的潜在应用领域包括人机协作、决策支持系统和LLM界面的设计。通过理解影响因素，能够提升决策质量，帮助用户和组织更有效地利用LLM技术，进而推动智能决策的实际应用。

📄 摘要（原文）

Decision-making is a fundamental capability in everyday life. Large Language Models (LLMs) provide multifaceted support in enhancing human decision-making processes. However, understanding the influencing factors of LLM-assisted decision-making is crucial for enabling individuals to utilize LLM-provided advantages and minimize associated risks in order to make more informed and better decisions. This study presents the results of a comprehensive literature analysis, providing a structural overview and detailed analysis of determinants impacting decision-making with LLM support. In particular, we explore the effects of technological aspects of LLMs, including transparency and prompt engineering, psychological factors such as emotions and decision-making styles, as well as decision-specific determinants such as task difficulty and accountability. In addition, the impact of the determinants on the decision-making process is illustrated via multiple application scenarios. Drawing from our analysis, we develop a dependency framework that systematizes possible interactions in terms of reciprocal interdependencies between these determinants. Our research reveals that, due to the multifaceted interactions with various determinants, factors such as trust in or reliance on LLMs, the user's mental model, and the characteristics of information processing are identified as significant aspects influencing LLM-assisted decision-making processes. Our findings can be seen as crucial for improving decision quality in human-AI collaboration, empowering both users and organizations, and designing more effective LLM interfaces. Additionally, our work provides a foundation for future empirical investigations on the determinants of decision-making assisted by LLMs.