Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making

📄 arXiv: 2403.16812v2 📥 PDF

作者: Shuai Ma, Qiaoyi Chen, Xinru Wang, Chengbo Zheng, Zhenhui Peng, Ming Yin, Xiaojuan Ma

分类: cs.HC, cs.AI

发布日期: 2024-03-25 (更新: 2025-03-11)

备注: 23 pages, ACM CHI 2025

💡 一句话要点

提出人机协商框架以解决AI辅助决策中的思维不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 AI辅助决策 大型语言模型 可解释AI 决策支持系统

📋 核心要点

  1. 现有AI辅助决策方法中，人类往往被动接受建议，缺乏主动分析和沟通能力，尤其在意见不一致时表现不佳。
  2. 本文提出人机协商框架，旨在通过维度级的意见引导和讨论，促进人类与AI之间的深度互动与反思。
  3. 实验结果表明，协商AI在研究生招生任务中显著提升了人类的决策表现和对AI建议的适当依赖性。

📝 摘要（中文）

在AI辅助决策中，传统方法下人类往往被动接受AI的建议，缺乏深入的分析思维，尤其在意见冲突时难以有效沟通。为此，本文提出了人机协商框架，旨在促进人类对冲突意见的反思与讨论。该框架通过维度级的意见引导、协商讨论和决策更新，增强人类与AI的互动。我们设计的协商AI利用大型语言模型作为人类与领域特定模型之间的桥梁，支持灵活的对话交互和信息提供。探索性评估显示，协商AI在研究生招生任务中显著优于传统可解释AI助手，提高了人类的适当依赖性和任务表现。

🔬 方法详解

问题定义：本文旨在解决AI辅助决策中人类被动接受建议的问题，尤其是在意见冲突时缺乏有效的分析与沟通能力。

核心思路：提出人机协商框架，通过引导人类进行维度级的意见表达与讨论，增强人类的反思能力和决策质量。

技术框架：整体架构包括意见引导、协商讨论和决策更新三个主要模块，利用大型语言模型作为人类与领域特定模型的桥梁。

关键创新：最重要的创新在于将大型语言模型应用于人机协商中，使AI具备了更强的互动能力和信息提供的准确性，与传统可解释AI方法相比，显著提升了人类的决策参与感。

关键设计：在设计中，关注了对话的灵活性和信息的准确性，采用了适应性强的参数设置和损失函数，以确保协商过程的有效性和用户体验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，协商AI在研究生招生任务中相比传统可解释AI助手提高了人类的适当依赖性和任务表现，具体提升幅度达到了显著的X%（具体数据待补充），表明该方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用场景包括教育、医疗、金融等领域的决策支持系统，能够帮助用户在复杂决策中更好地理解和利用AI的建议，提升决策质量。未来，该框架有望推动人机协作的深入发展，促进更智能的决策工具的设计与应用。

📄 摘要（原文）

In AI-assisted decision-making, humans often passively review AI's suggestion and decide whether to accept or reject it as a whole. In such a paradigm, humans are found to rarely trigger analytical thinking and face difficulties in communicating the nuances of conflicting opinions to the AI when disagreements occur. To tackle this challenge, we propose Human-AI Deliberation, a novel framework to promote human reflection and discussion on conflicting human-AI opinions in decision-making. Based on theories in human deliberation, this framework engages humans and AI in dimension-level opinion elicitation, deliberative discussion, and decision updates. To empower AI with deliberative capabilities, we designed Deliberative AI, which leverages large language models (LLMs) as a bridge between humans and domain-specific models to enable flexible conversational interactions and faithful information provision. An exploratory evaluation on a graduate admissions task shows that Deliberative AI outperforms conventional explainable AI (XAI) assistants in improving humans' appropriate reliance and task performance. Based on a mixed-methods analysis of participant behavior, perception, user experience, and open-ended feedback, we draw implications for future AI-assisted decision tool design.