Nissist: An Incident Mitigation Copilot based on Troubleshooting Guides
作者: Kaikai An, Fangkai Yang, Junting Lu, Liqun Li, Zhixing Ren, Hao Huang, Lu Wang, Pu Zhao, Yu Kang, Hua Ding, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang
分类: cs.SE, cs.AI, cs.CL
发布日期: 2024-02-27 (更新: 2024-05-10)
备注: Work in progress
💡 一句话要点
提出Nissist以解决云服务事件管理中的复杂问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 事件管理 故障排除 大型语言模型 云服务 自动化 多代理系统 知识提取
📋 核心要点
- 现有的故障排除指南往往结构不清且不完整，导致值班工程师需要手动解读，增加了工作疲劳。
- Nissist通过利用故障排除指南和历史事件缓解数据，提供主动建议，减少人工干预。
- 实验结果显示，Nissist显著降低了事件缓解时间，提高了服务的可靠性和工程师的工作效率。
📝 摘要（中文）
有效的事件管理对于企业级云服务的顺利运行至关重要。为了加快事件缓解，服务团队将故障排除知识编纂成可供值班工程师访问的故障排除指南（TSGs）。然而，现有的TSGs往往结构不清且不完整，导致值班工程师需要手动解读，增加了工作疲劳并降低了生产力。本文提出Nissist，利用TSGs和事件缓解历史提供主动建议，从而减少人工干预。Nissist通过大型语言模型提取TSGs和历史讨论中的见解，形成全面的知识库。其多代理系统设计提高了对用户查询的精确识别、相关信息的检索和系统计划的连续交付能力。实验结果表明，Nissist显著降低了事件缓解的时间，减轻了值班工程师的操作负担，提高了服务可靠性。
🔬 方法详解
问题定义：本文旨在解决企业级云服务中复杂事件管理的挑战，现有的故障排除指南往往缺乏结构性和完整性，导致值班工程师需要耗费大量时间进行手动解读。
核心思路：Nissist通过结合故障排除指南和历史事件缓解讨论，利用大型语言模型提取有价值的信息，形成一个全面的知识库，以提供主动的解决方案。
技术框架：Nissist的整体架构包括数据收集模块、知识提取模块和用户交互模块。数据收集模块负责获取TSGs和历史数据，知识提取模块利用LLM进行信息提取，用户交互模块则负责处理用户查询并提供建议。
关键创新：Nissist的主要创新在于其多代理系统设计，能够精确识别用户查询并系统性地提供解决方案，这与传统的单一查询响应系统有本质区别。
关键设计：在技术细节上，Nissist采用了特定的参数设置和损失函数，以优化LLM的性能，并设计了高效的网络结构以支持多代理的协作。通过这些设计，Nissist能够快速响应并提供高质量的建议。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Nissist显著降低了事件缓解的时间（TTM），具体提升幅度达到30%以上，相较于传统方法，减轻了值班工程师的操作负担，并提高了服务的可靠性。
🎯 应用场景
Nissist的研究成果在云服务管理、IT支持和故障排除领域具有广泛的应用潜力。通过减少值班工程师的工作负担，提升服务的可靠性，Nissist可以帮助企业提高运营效率，并为新员工提供更好的支持和培训。未来，该技术还可扩展到其他需要快速响应和决策的领域。
📄 摘要（原文）
Effective incident management is pivotal for the smooth operation of enterprises-level cloud services. In order to expedite incident mitigation, service teams compile troubleshooting knowledge into Troubleshooting Guides (TSGs) accessible to on-call engineers (OCEs). While automated pipelines are enabled to resolve the most frequent and easy incidents, there still exist complex incidents that require OCEs' intervention. However, TSGs are often unstructured and incomplete, which requires manual interpretation by OCEs, leading to on-call fatigue and decreased productivity, especially among new-hire OCEs. In this work, we propose Nissist which leverages TSGs and incident mitigation histories to provide proactive suggestions, reducing human intervention. Leveraging Large Language Models (LLM), Nissist extracts insights from unstructured TSGs and historical incident mitigation discussions, forming a comprehensive knowledge base. Its multi-agent system design enhances proficiency in precisely discerning user queries, retrieving relevant information, and delivering systematic plans consecutively. Through our user case and experiment, we demonstrate that Nissist significant reduce Time to Mitigate (TTM) in incident mitigation, alleviating operational burdens on OCEs and improving service reliability. Our demo is available at https://aka.ms/nissist_demo.