SEVRA-BENCH: Social Engineering of Vulnerabilities in Review Agents

📄 arXiv: 2606.13757v1 📥 PDF

作者: Rui Melo, Riccardo Fogliato, Sean Zhou, Pratiksha Thaker, Zhiwei Steven Wu

分类: cs.CR, cs.AI

发布日期: 2026-06-11

💡 一句话要点

提出SEVRA-BENCH以评估自动化代码审查中的社会工程漏洞

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化审查 社会工程 漏洞检测 大型语言模型 开源安全 恶意代码 代码审查 CVE

📋 核心要点

  1. 现有的静态漏洞检测和代码生成基准未能解决自动化审查者在面对恶意PR时的有效性问题。
  2. 提出SEVRA-BENCH基准，通过构建恶意PR并使用社会工程框架来评估自动化审查者的批准能力。
  3. 实验结果显示，当前8种LLM在处理引入已知漏洞的PR时，闭源模型的安全能力显著优于开源模型。

📝 摘要（中文）

随着大型语言模型（LLM）审查者在拉取请求（PR）工作流程中的广泛应用，如何确保这些自动化审查者能够拒绝恶意贡献成为一个重要问题。本文提出SEVRA-BENCH基准，旨在评估自动化审查者在攻击者控制代码变更及其PR文本的情况下，批准恶意PR的频率。SEVRA-BENCH包含1062个恶意PR，基于真实项目的修复提交，利用15种社会工程框架进行包装。通过对8种当前LLM作为代码审查代理的评估，结果显示闭源与开源模型在安全能力上存在显著差距。希望SEVRA-BENCH能为推动开源模型的发展提供有价值的资源。

🔬 方法详解

问题定义：本文旨在解决自动化代码审查者在面对攻击者控制的恶意PR时，是否能够有效拒绝这些贡献的问题。现有方法未能充分考虑这种社会工程攻击的可能性。

核心思路：通过构建SEVRA-BENCH基准，利用真实项目的漏洞修复提交，反转修复代码并包装成恶意PR，评估自动化审查者的批准率。

技术框架：SEVRA-BENCH的整体架构包括恶意PR的生成、社会工程框架的应用以及对8种LLM的评估。每个恶意PR都基于CVE数据库中的真实修复案例，并采用不同的社会工程策略。

关键创新：最重要的创新在于引入社会工程框架来评估自动化审查者的脆弱性，填补了现有基准在这一领域的空白。

关键设计：在恶意PR的构建中，使用了15种不同的社会工程策略，涉及声明、证据支持、紧迫感传达、先前批准的信号及权威的呼吁等设计细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在处理引入已知漏洞的PR时，开源模型的批准率显著高于闭源模型，揭示了安全能力的明显差距。这一发现为开源模型的改进提供了重要依据，强调了在代码审查中增强安全性的必要性。

🎯 应用场景

该研究的潜在应用领域包括软件开发中的代码审查流程，尤其是在开源项目中。通过提高自动化审查者的安全能力，能够有效防范恶意代码的引入，提升代码库的安全性和可靠性。未来，该基准可能推动更多针对自动化审查的安全研究和工具开发。

📄 摘要（原文）

Large language model (LLM) reviewers are increasingly used in pull-request (PR) workflows, where their approvals help decide which code is merged into a repository. This raises a question that benchmarks for static vulnerability detection or code generation do not address: can an automated reviewer reject a malicious contribution when the attacker controls both the code change and the accompanying PR text? We introduce SEVRA-BENCH (Social Engineering of Vulnerabilities in Review Agents), a benchmark that measures how often an automated reviewer approves such adversarial pull requests. Each malicious PR in SEVRA-BENCH is built from a real project commit that previously fixed a vulnerability listed in the Common Vulnerabilities and Exposures (CVE) database. We automatically invert that fix to restore the original vulnerable code and submit it as a pull request wrapped in one of 15 social-engineering framings, which vary the claims made, the supporting evidence, the urgency conveyed, signals of prior approval, and appeals to authority. SEVRA-BENCH contains 1,062 malicious PRs drawn from Common Vulnerabilities and Exposures (CVE)-linked fixes across the top 10 entries of the 2025 Common Weakness Enumeration (CWE) Top 25. In a realistic setting, we evaluate 8 current LLMs as code review agents on PRs that introduce vulnerabilities previously reported in public disclosures. Our results reveal a sharp gap in security capabilities between closed- and open-source models. We hope SEVRA-BENCH will serve as a valuable resource for advancing open-source models and narrowing this gap.