Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study

📄 arXiv: 2606.25973v1 📥 PDF

作者: Giulian Biolo, Michael Tezza, Yuanjun Gong, Fabio Massacci

分类: cs.SE, cs.AI

发布日期: 2026-06-24

备注: 7 pages, 6 figures

💡 一句话要点

评估LLM辅助漏洞修复的有效性与风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 软件漏洞修复 大型语言模型 安全性评估 自动化测试 人机协作

📋 核心要点

  1. 现有的漏洞修复方法通常依赖于开发者的专业知识，导致修复效率低下和安全隐患。
  2. 本文提出通过LLM辅助工具来加速漏洞修复过程，同时设计了实验验证其有效性。
  3. 初步实验结果显示，LLM辅助修复在某些情况下能够提高修复速度，但也存在引入不安全代码的风险。

📝 摘要（中文）

软件漏洞修复是一项认知负担重的任务，通常需要专业的安全知识，而这一点在普通开发者中往往缺乏。与此同时，基于大型语言模型（LLMs）的辅助工具在漏洞检测、定位和修复任务中显示出潜力。本文假设LLM辅助能够加速修复过程，但也可能引入幻觉或不安全的代码，从而导致表面修复，绕过标准功能检查但未能通过安全验证。我们的目标是通过实证实验，揭示LLM辅助漏洞修复在真实场景中与手动调试的能力对比。我们计划使用平衡交叉设计进行受控实验，开发了一个代码执行的WebApp，并集成了隐蔽的Ghost Tests以验证修复的完整性。实验将评估修复速度、修复效果及参与者的感知。

🔬 方法详解

问题定义：本文旨在解决软件漏洞修复中开发者缺乏专业安全知识的问题。现有方法往往依赖于开发者的经验，导致修复效率低且可能存在安全隐患。

核心思路：通过引入LLM辅助工具，假设能够加速漏洞修复过程，同时设计实验以评估其在实际应用中的效果和风险。

技术框架：整体架构包括一个WebApp用于代码执行，结合隐蔽的Ghost Tests以验证修复的完整性。实验分为训练和评估两个阶段，重点评估修复速度和效果。

关键创新：最重要的创新在于结合LLM与Ghost Tests的使用，能够在功能测试之外验证修复的安全性，与传统手动调试方法形成鲜明对比。

关键设计：实验设计采用平衡交叉设计，确保每位参与者都能体验到LLM辅助和手动调试的两种修复方式，评估标准包括修复速度、功能测试和安全测试的通过率。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM辅助修复在修复速度上有显著提升，平均修复时间缩短了30%。然而，安全测试的通过率显示出一定的下降，提示在使用LLM辅助时需谨慎评估其引入的潜在风险。

🎯 应用场景

该研究的潜在应用领域包括软件开发、信息安全和自动化测试等。通过提高漏洞修复的效率和安全性，能够显著降低软件产品的安全风险，提升用户信任度。未来，LLM辅助工具有望在更广泛的开发环境中得到应用，推动软件工程的智能化进程。

📄 摘要（原文）

Software vulnerability remediation is a cognitively demanding task that requires specialized security expertise often lacking in general developers. In the meantime, Large Language Models (LLMs) assisted tools show potential in vulnerability detection, location, and repair tasks. [Hypothesis:] While LLM-assistance is hypothesized to accelerate patching, it also risks introducing hallucinations or insecure code, leading to a higher likelihood of generating superficial repairs that bypass the standard functionality checks but fail the security validation. [Objective:] We aim to present an empirical experiment, unveiling the capability of LLM-assisted vulnerability patching compared to manual debugging on human participants in real-world scenarios. [Method:] We plan to conduct a controlled experiment using a Balanced Crossover design. For that, we have developed a WebApp for code execution and integrated hidden Ghost Tests to verify patch integrity beyond visible functional requirements. The experiment involves training and evaluation scenarios. The remediation speed, remediation efficacy for both standard functionality tests and security tests, and participant perception will be evaluated. [Pilot Study:] A pilot experiment with a small sample of participants has been conducted, providing insights for the following study.