Conversational versus Dashboard Explainable AI for UAV Intrusion Detection: An Empirical Study of Operator Trust and Reliance
作者: Cong Chi Nguyen, Trang Mai Xuan, Vu-Duc Ngo, Kim-Ngan Thi Nguyen, Trong-Nghia Nguyen, Thien Van Luong
分类: cs.AI
发布日期: 2026-08-11
备注: 12 pages, 3 figures, EIDT conference
💡 一句话要点
提出对话式XAI界面以提升无人机入侵检测的操作信任度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无人机网络 入侵检测 可解释人工智能 对话式界面 用户信任 自然语言处理 多模态数据 人机协作
📋 核心要点
- 现有的入侵检测系统由于其黑箱特性和数据复杂性，导致操作员在理解和信任方面面临挑战。
- 本文提出了一种对话式XAI界面，利用大型语言模型，旨在提高操作员对入侵检测结果的理解和信任。
- 实验结果显示，对话式界面在信息获取和综合方面优于传统仪表板，但也可能导致操作员的自我依赖性降低。
📝 摘要（中文）
基于机器学习的入侵检测系统（IDS）在保护无人机网络方面表现优越，但其“黑箱”特性和多模态网络数据的高维性导致了解释性挑战。静态可视化仪表板难以有效展示复杂的多模态特征关系。为此，本文提出了一种基于大型语言模型（LLM）的对话式可解释人工智能（XAI）界面，以便于进行按需调查。在一项控制实验中，系统评估了该对话式界面与传统XAI仪表板在操作员理解、信任和依赖性方面的影响。结果表明，对话式界面被认为比仪表板更有用，但伴随较低的自我依赖水平，可能导致过度依赖的风险。研究指出，提升可用性的交互机制可能增加不当依赖的风险，最后讨论了未来XAI系统设计的平衡点。
🔬 方法详解
问题定义：本文旨在解决无人机网络入侵检测系统中，操作员对模型理解和信任不足的问题。现有的静态仪表板无法有效展示复杂的多模态数据关系，导致操作员在审计任务中难以做出准确判断。
核心思路：论文提出的对话式XAI界面通过自然语言处理技术，允许操作员以对话形式与系统互动，从而更容易获取和理解关键信息。这种设计旨在提升操作员的理解能力和信任度。
技术框架：整体架构包括数据输入模块、对话生成模块和用户反馈模块。数据输入模块负责接收多模态数据，生成模块利用大型语言模型生成自然语言响应，反馈模块则收集用户的理解和信任度反馈。
关键创新：最重要的创新在于将对话式交互与可解释人工智能相结合，提供了一种新的信息获取方式，与传统的静态仪表板相比，能够更好地满足操作员的需求。
关键设计：在设计中，采用了大型语言模型作为核心技术，确保生成的自然语言响应具有高准确性和相关性。此外，设计中还考虑了用户交互的流畅性，以提升整体用户体验。
🖼️ 关键图片
📊 实验亮点
实验结果表明，对话式XAI界面在操作员的理解和信任方面显著优于传统仪表板，参与者对其有更高的实用性评价。然而，操作员的自我依赖性降低，存在过度依赖的风险，这一发现提示了人机协作中的潜在权衡。
🎯 应用场景
该研究的潜在应用领域包括无人机监控、网络安全和智能交通系统等。通过提升操作员对入侵检测系统的理解和信任，该研究有助于提高无人机网络的安全性和可靠性，未来可能推动更多智能系统的可解释性研究与应用。
📄 摘要（原文）
Machine learning-based Intrusion Detection Systems (IDS) have demonstrated superior performance in securing Unmanned Aerial Vehicle (UAV) networks. However, the 'black-box' nature of these models, combined with the high dimensionality of multimodal cyber-physical data, poses significant interpretability challenges. Static visualization dashboards may struggle to present complex relationships among multimodal cyber-physical features in a form that is easy for operators to inspect and interpret. To address this, we propose a Conversational XAI interface powered by Large Language Models (LLM) to facilitate on-demand investigation. In a controlled experiment with participants, we systematically evaluated the impact of this conversational interface versus a traditional XAI Dashboard on operator understanding, trust, and reliance during post-incident auditing tasks. Our results suggest that the conversational interface was perceived as more useful than the dashboard, potentially because it helped participants access and synthesize relevant information more easily. However, this benefit was accompanied by a lower level of appropriate self-reliance, indicating a potential risk of over-reliance. One possible interpretation is that the natural-language responses made the AI advice easier to accept, which may have reduced participants' tendency to verify the underlying evidence when the IDS was incorrect. These findings point to a potential trade-off in human-AI collaboration for UAV intrusion auditing: interaction mechanisms that improve perceived usability may also increase the risk of inappropriate reliance. We conclude by discussing design implications for future XAI systems that balance seamless interaction with cognitive forcing functions to foster appropriate reliance.