An Empirical Study of Security Calibration in Large Language Models for Code

📄 arXiv: 2606.31159v1 📥 PDF

作者: Mohammed Latif Siddiq, Md. Nafiu Rahman, Joanna C. S. Santos

分类: cs.SE, cs.CR, cs.LG

发布日期: 2026-06-30

备注: Accepted at the 42nd International Conference on Software Maintenance and Evolution (ICSME 2026) Research Track

💡 一句话要点

提出大规模实证研究以评估大语言模型的安全校准问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全校准 代码生成 自动修复 过度自信 功能正确性 实证研究

📋 核心要点

  1. 现有大型语言模型在生成安全关键代码时，缺乏有效的安全校准，导致模型对生成代码的安全性过度自信。
  2. 本文通过对多种大型语言模型进行大规模实证研究，评估其在安全校准方面的表现，提出校准引导的自动修复方法。
  3. 实验结果显示，评估的模型普遍存在过度自信现象，且功能校准的表现低于安全校准，提出的修复方法效果有限。

📝 摘要（中文）

大型语言模型（LLMs）正在迅速改变软件开发，但在安全关键的上下文中使用时，模型是否能识别生成代码的安全性成为关键问题。本文首次进行大规模实证研究，评估GPT-4o-mini、Gemini-2.0-Flash和Qwen3-Coder-Next在多个温度设置下的安全校准。结果表明，过度自信在评估的LLMs中普遍存在，功能校准的表现始终低于安全校准。这表明模型在估计安全结果时比功能正确性更可靠。我们还探讨了校准引导的自动修复是否能帮助修复LLM生成代码中的漏洞，发现改善有限且常引入功能回归。此外，我们研究了减少虚假信任的不同缓解策略，结果显示尽管架构门控在受控基准上改善了校准，但在现实的代码库级设置中校准却恶化，增加了高置信度脆弱输出的风险。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成代码时的安全校准问题。现有方法在安全性评估上存在过度自信现象，导致生成的代码可能存在安全漏洞。

核心思路：通过大规模实证研究，评估不同大型语言模型在安全校准方面的能力，并探索校准引导的自动修复方法，以提高生成代码的安全性。

技术框架：研究采用多种大型语言模型（如GPT-4o-mini、Gemini-2.0-Flash和Qwen3-Coder-Next），在不同温度设置下进行评估，使用自包含安全任务和多语言代码库级上下文作为基准。

关键创新：本研究的创新点在于首次系统性地评估大型语言模型的安全校准能力，揭示了模型在安全性和功能正确性上的表现差异，提供了新的视角来理解模型的自信度与输出的真实安全性之间的关系。

关键设计：研究中设置了多种温度参数以调节模型的生成策略，并设计了针对安全校准的评估基准，重点关注模型在不同上下文中的表现。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，评估的模型普遍存在过度自信现象，功能校准的表现始终低于安全校准。尽管校准引导的自动修复方法在一定程度上改善了安全性，但效果有限，且常常引入功能回归。此外，架构门控在受控基准上改善了校准，但在现实环境中却导致校准恶化。

🎯 应用场景

该研究的潜在应用领域包括安全软件开发、自动化代码生成和漏洞检测等。通过提高大型语言模型在安全校准方面的能力，可以显著降低生成代码中的安全漏洞风险，从而提升软件系统的整体安全性和可靠性。未来，随着模型技术的进步，研究结果可能会推动更安全的自动化编程工具的开发。

📄 摘要（原文）

Large Language Models (LLMs) are rapidly transforming software development, yet their use in security-critical contexts raises a key question: do models know when their generated code is insecure? This property, known as calibration, measures whether a model's confidence aligns with the true correctness of its outputs. We present the first large-scale empirical study of security calibration in LLM-generated code. We evaluate GPT-4o-mini, Gemini-2.0-Flash, and Qwen3-Coder-Next across multiple temperature settings on two complementary benchmarks: self-contained security tasks and multi-language repository-level contexts. Our results suggest that overconfidence is prevalent across the evaluated LLMs. Functional calibration is consistently worse than security calibration, suggesting that models estimate security outcomes more reliably than functional correctness, potentially because functional correctness depends on complex execution behavior. We also examine whether calibration-guided automated repair can help remediate vulnerabilities in LLM-generated code, finding only limited improvements while frequently introducing functional regressions. Moreover, we study different mitigation strategies for reducing False Trust, where models assign high confidence to vulnerable code. The results show that although architectural gating improves calibration on controlled benchmarks, calibration deteriorates in realistic repository-level settings, increasing the risk of high-confidence vulnerable outputs.