Detecting Functional Memorization in Code Language Models

📄 arXiv: 2606.12764 📥 PDF

作者: Matthieu Meeus, Anil Ramakrishna, Matthew Grange, Zheng Xu, Luca Melis

分类: cs.LG, cs.CL, cs.CR

发布日期: 2026-06-12

💡 一句话要点

提出功能性记忆检测方法以解决代码生成模型的审计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 功能性记忆 代码生成 大型语言模型 审计指标 相似性度量 反事实实验 Python函数

📋 核心要点

  1. 现有方法主要关注文本重叠，无法有效识别代码生成模型的功能性记忆。
  2. 论文提出了一种反事实设置，通过比较不同训练阶段的模型来检测功能性记忆。
  3. 实验结果表明，模型在功能相似性上存在显著记忆，提示审计指标需更全面。

📝 摘要（中文）

大型语言模型（LLMs）在大规模代码生成中越来越受到重视。以往的研究主要关注模型输出与训练数据之间的文本重叠，然而代码在功能上可能是等效的但在文本上却不相同。本研究探讨了功能性记忆，即超越逐字度量的功能逻辑提取。我们构建了一个反事实设置，比较了中期训练模型与未暴露于目标代码的预训练参考模型。通过对两个模型进行Python函数签名的提示，并测量文本和功能相似性，结果显示出明显的功能性记忆，强调了需要超越文本重叠的审计指标。

🔬 方法详解

问题定义：本论文旨在解决现有代码生成模型在审计时无法有效识别功能性记忆的问题。现有方法主要依赖文本重叠度量，无法捕捉到功能等效的代码生成。

核心思路：论文通过构建反事实实验，比较中期训练模型与未暴露于目标代码的预训练模型，来探讨功能性记忆的存在。这样的设计能够更好地揭示模型在功能层面的记忆能力。

技术框架：整体架构包括两个主要阶段：首先，使用Python函数签名对模型进行提示；其次，测量模型生成的代码在文本和功能上的相似性。

关键创新：最重要的技术创新在于引入了功能性相似性度量，超越了传统的文本重叠度量。这一方法能够更全面地评估模型的记忆能力。

关键设计：在实验中，模型的提示设计和相似性度量方法是关键，采用了执行基础的评估方法来确保功能性相似性的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，功能性记忆的存在是显著的，模型在功能相似性上的表现优于文本重叠度量，提示审计指标需更全面。具体而言，中期训练模型在功能相似性上表现出明显的优势，验证了功能性记忆的有效性。

🎯 应用场景

该研究的潜在应用领域包括代码生成、自动化编程和软件开发工具等。通过识别和审计模型的功能性记忆，可以提高生成代码的安全性和可靠性，进而推动智能编程助手的发展。未来，该方法可能对代码审计和合规性检查产生深远影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to generate code at scale. Meanwhile, prior work has investigated whether training data may be recoverable from model outputs, by auditing the textual overlap between training examples and model generations. Code, however, can be functionally equivalent while textually dissimilar. In this work, we study functional memorization: extraction of functional logic beyond what verbatim metrics detect. We construct a counterfactual setup for Olmo-3-32B, comparing a midtrained model (exposed to target code) against a pretrained reference (not exposed). We prompt both models with Python function signatures and measure both textual and functional similarity (i.e., LLM-as-a-judge, execution-based). Our results show clear evidence of functional memorization, highlighting the need for auditing metrics that go beyond textual overlap.