Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models

📄 arXiv: 2404.07725v1 📥 PDF

作者: Marvin Pafla, Kate Larson, Mark Hancock

分类: cs.HC, cs.AI

发布日期: 2024-04-11

DOI: 10.1145/3613904.3642934

💡 一句话要点

探讨人类与机器解释在大型语言模型错误中的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释人工智能 显著性图 人类解释 机器学习 信任问题 深度学习 问答系统

📋 核心要点

  1. 现有的可解释人工智能方法在AI输出错误时的有效性受到质疑，尤其是人类参与者的反馈显示出显著性图的局限性。
  2. 本研究通过对156个文本和显著性解释的分析，比较人类生成的解释与机器生成的解释，以评估其在问答任务中的有效性。
  3. 实验结果表明，人类显著性图被认为更有帮助，但与对AI模型的信任呈负相关，揭示了AI错误解释的复杂性。

📝 摘要（中文）

可解释人工智能（XAI）领域产生了大量方法（如显著性图），以深入理解人工智能模型，尤其是在深度学习兴起后。然而，人类参与者研究质疑了这些方法的有效性，特别是在AI输出错误时。本研究收集并分析了156个由人类生成的文本和基于显著性的解释，并与最先进的XAI解释（集成梯度、保守LRP和ChatGPT）进行了比较。结果显示，参与者认为人类显著性图在解释AI答案时更有帮助，但这种表现与对AI模型和解释的信任呈负相关。这一发现揭示了AI错误解释中的困境，即有用的解释可能在支持错误的AI预测时导致较低的任务表现。

🔬 方法详解

问题定义：本研究旨在解决可解释人工智能（XAI）方法在AI输出错误时的有效性问题。现有方法如显著性图在解释错误时的局限性使得用户信任度下降。

核心思路：论文通过收集和分析人类生成的文本和显著性解释，比较其与机器生成的解释的有效性，旨在揭示人类解释在AI错误情况下的优势与局限。

技术框架：研究采用了问答任务的设计，收集了156个解释，并与集成梯度、保守LRP和ChatGPT等机器生成的解释进行对比，涉及40名参与者的反馈。

关键创新：本研究的创新在于通过实证研究揭示了人类生成的解释在某些情况下比机器生成的解释更有帮助，尤其是在AI输出错误时的信任问题。

关键设计：研究设计中包括对参与者的问卷调查，评估其对不同类型解释的理解和信任度，采用了定量和定性分析方法来比较不同解释的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，参与者认为人类生成的显著性图在解释AI答案时更为有效，尤其是在AI输出错误的情况下。然而，这种有效性与对AI模型的信任呈负相关，提示在设计AI系统时需考虑解释的影响。

🎯 应用场景

该研究的潜在应用领域包括教育、医疗和金融等需要高可解释性的AI系统。通过提高人类对AI决策的理解，能够增强用户对AI系统的信任，从而促进其在实际应用中的广泛采用。未来，研究结果可能推动更有效的XAI方法的发展，改善人机交互体验。

📄 摘要（原文）

The field of eXplainable artificial intelligence (XAI) has produced a plethora of methods (e.g., saliency-maps) to gain insight into artificial intelligence (AI) models, and has exploded with the rise of deep learning (DL). However, human-participant studies question the efficacy of these methods, particularly when the AI output is wrong. In this study, we collected and analyzed 156 human-generated text and saliency-based explanations collected in a question-answering task (N=40) and compared them empirically to state-of-the-art XAI explanations (integrated gradients, conservative LRP, and ChatGPT) in a human-participant study (N=136). Our findings show that participants found human saliency maps to be more helpful in explaining AI answers than machine saliency maps, but performance negatively correlated with trust in the AI model and explanations. This finding hints at the dilemma of AI errors in explanation, where helpful explanations can lead to lower task performance when they support wrong AI predictions.