Large Language Models at the Intersection of Software Engineering and Software Security:An Evidence-Centered Structured Survey and Research Agenda
作者: Wei Lin, Tao Zhou, Zhaofei Xie, Changgui Hong
分类: cs.AI, cs.SE
发布日期: 2026-08-21
💡 一句话要点
提出证据中心结构调查以解决软件工程与安全交集问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 软件工程 软件安全 证据中心调查 任务分类 保证框架 有效性威胁 跨研究比较
📋 核心要点
- 现有方法在软件工程和安全评估之间缺乏统一的证据，导致功能性与安全性评估的分歧。
- 论文提出了一种证据中心的结构调查，结合任务分类法和保证框架，以解决功能正确性与安全性之间的矛盾。
- 研究表明，执行反馈和仓库访问能显著提升工程任务完成度，但不足以单独确保安全性。
📝 摘要（中文）
大型语言模型（LLMs）正从代码补全向能够检索上下文、编辑文件、执行工具并参与安全敏感工作流的仓库级代理转变。然而，这些系统的证据在软件工程和软件安全评估之间存在分歧。本文通过对2026年5月31日之前的代表性工作进行综合，提出了一种任务分类法和保证框架，揭示了执行反馈和仓库访问对工程任务完成的显著影响，并识别了有效性威胁，最终提出了一个研究议程，强调安全与功能的联合基准。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在软件工程与安全评估之间的证据分歧问题。现有方法往往侧重于功能性任务完成或安全性评估，缺乏系统性整合。
核心思路：论文的核心思路是通过证据中心的结构调查，结合任务分类法和保证框架，系统性地分析和整合软件工程与安全评估的相关研究，以提供更全面的评估标准。
技术框架：整体架构包括任务分类、保证框架、有效性威胁识别和最低报告协议。主要模块包括功能正确性、安全性、操作可靠性、证据来源和代理权威等。
关键创新：最重要的技术创新点在于提出了一个综合的保证框架，明确区分了功能性与安全性评估的标准，强调了模型能力应通过适当的证据进行判断，而非单一基准分数。
关键设计：论文设计了最低报告协议，以便于跨研究比较，并识别了影响有效性的威胁，如弱测试预言、数据重复和时间泄漏等。
🖼️ 关键图片
📊 实验亮点
研究表明，执行反馈和仓库访问能够显著提升工程任务的完成度，但单独并不能确保安全性。此外，静态分析标签或漏洞分类分数在确保可部署正确性方面的有效性较低，强调了多维度评估的重要性。
🎯 应用场景
该研究的潜在应用领域包括软件开发、代码审查和安全性评估等。通过提供更系统的评估框架，能够帮助开发者和安全专家更有效地利用大型语言模型，提升软件的安全性与可靠性，推动软件工程的进步。
📄 摘要（原文）
Large Language Models (LLMs) are moving from code completion toward repository-scale agents that retrieve context, edit files, execute tools, and participate in security-sensitive workflows. The evidence for these systems, however, remains divided between software engineering evaluations centered on functional task completion and software security evaluations centered on vulnerability detection, secure generation, or exploit-oriented validation. This evidence-centered structured survey synthesizes representative work available through May 31, 2026 across software engineering tasks, software security tasks, adaptation mechanisms, artifact granularity, and evaluation design. In addition to a task taxonomy, we introduce an assurance framework that separates functional correctness, security, operational reliability, evidence provenance, and agent authority. The review shows that execution feedback and repository access can substantially improve engineering task completion, but do not by themselves establish security; conversely, static-analysis labels or vulnerability-classification scores rarely establish deployable correctness. We identify recurring validity threats--weak test oracles, duplicated and temporally leaked data, changing agent harnesses, proxy-only security checks, and under-reported budgets and human intervention--and derive a minimum reporting protocol for cross-study comparison. The resulting research agenda prioritizes jointly secure-and-functional benchmarks, repository-scale threat models, calibrated human oversight, longitudinal maintainability evidence, and reproducible agent evaluation. The central conclusion is that model capability should be judged as an assurance case supported by task-appropriate evidence, rather than by a single benchmark score.