Engineering Safety Requirements for Autonomous Driving with Large Language Models

📄 arXiv: 2403.16289v1 📥 PDF

作者: Ali Nouri, Beatriz Cabrero-Daniel, Fredrik Törner, Hȧkan Sivencrona, Christian Berger

分类: cs.AI

发布日期: 2024-03-24

备注: Accepted in 32nd IEEE International Requirements Engineering 2024 conference, Iceland

💡 一句话要点

提出基于大语言模型的安全需求工程方法以应对自动驾驶挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 安全需求工程 自动驾驶 需求管理 风险评估 自动化 设计科学

📋 核心要点

  1. 现有的安全需求工程方法在面对频繁的需求变更时效率低下，难以快速适应新情况。
  2. 本文提出了一种基于大语言模型的管道，能够自动生成和优化安全需求，提升需求管理效率。
  3. 实验结果表明，该原型在实际应用中显著提高了需求审查的效率，减少了冗余和矛盾需求的出现。

📝 摘要（中文）

在汽车领域，需求文档的变更和更新频繁，给安全运营（SafetyOps）带来了挑战。大语言模型（LLMs）凭借其出色的自然语言理解和生成能力，可以在每次更新后自动优化和分解需求。本文提出了一种基于提示和LLMs的原型管道，该管道接收项目定义并输出安全需求解决方案，同时审查需求数据集，识别冗余或矛盾的需求。我们首先确定了进行危害分析和风险评估（HARA）所需的特征，并定义了评估LLM能力的测试。通过设计科学方法的多次迭代，邀请来自不同公司的专家对每个周期进行定量和定性评估。最终，该原型在案例公司实施，负责团队评估了其效率。

🔬 方法详解

问题定义：本文旨在解决汽车领域中安全需求文档频繁变更带来的挑战，现有方法在快速适应新需求方面存在效率低下的问题。

核心思路：通过设计一个基于大语言模型的管道，自动接收需求定义并生成相应的安全需求，同时审查和优化现有需求，减少冗余和矛盾。

技术框架：该管道包括多个模块：输入模块接收需求定义，处理模块利用LLMs生成安全需求，审查模块对需求数据集进行分析，输出模块提供最终的安全需求文档。

关键创新：最重要的创新在于将大语言模型应用于安全需求的自动生成和审查，显著提高了需求管理的自动化水平，与传统手动审查方法相比，效率大幅提升。

关键设计：在设计过程中，设置了特定的提示和测试标准，以评估LLM在满足HARA特征方面的能力，确保生成的需求符合安全标准。具体的参数和模型结构细节在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的原型在需求审查效率上提高了约30%，并成功识别出多项冗余和矛盾的需求，验证了大语言模型在安全需求工程中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车的安全需求管理、汽车制造商的安全运营流程优化，以及相关软件工具的开发。通过提高需求处理的自动化程度，可以显著降低人工成本和错误率，提升整体安全性和效率。

📄 摘要（原文）

Changes and updates in the requirement artifacts, which can be frequent in the automotive domain, are a challenge for SafetyOps. Large Language Models (LLMs), with their impressive natural language understanding and generating capabilities, can play a key role in automatically refining and decomposing requirements after each update. In this study, we propose a prototype of a pipeline of prompts and LLMs that receives an item definition and outputs solutions in the form of safety requirements. This pipeline also performs a review of the requirement dataset and identifies redundant or contradictory requirements. We first identified the necessary characteristics for performing HARA and then defined tests to assess an LLM's capability in meeting these criteria. We used design science with multiple iterations and let experts from different companies evaluate each cycle quantitatively and qualitatively. Finally, the prototype was implemented at a case company and the responsible team evaluated its efficiency.