Detecting Functional Memorization in Code Language Models

📄 arXiv: 2606.12764v1 📥 PDF

作者: Matthieu Meeus, Anil Ramakrishna, Matthew Grange, Zheng Xu, Luca Melis

分类: cs.LG, cs.CL, cs.CR

发布日期: 2026-06-11

💡 一句话要点

提出功能性记忆检测方法以解决代码生成模型的审计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 功能性记忆 代码生成 语言模型 审计方法 功能相似性 机器学习 深度学习

📋 核心要点

  1. 现有方法主要关注文本重叠，无法有效检测代码生成模型的功能性记忆。
  2. 论文提出了一种新的审计方法，通过比较暴露与未暴露于目标代码的模型，评估功能相似性。
  3. 实验结果表明，功能性记忆的存在显著，提示需要改进现有的审计指标以涵盖功能逻辑。

📝 摘要（中文）

大型语言模型（LLMs）在大规模代码生成中应用日益广泛。先前的研究探讨了训练数据是否可以从模型输出中恢复，主要通过审计训练示例与模型生成之间的文本重叠。然而，代码在功能上可能是等效的，但在文本上却不相同。本研究探讨了功能性记忆：提取超出逐字度量的功能逻辑。我们构建了一个反事实设置，比较了暴露于目标代码的中期训练模型与未暴露的预训练参考模型。我们用Python函数签名提示这两个模型，并测量文本和功能相似性（即，LLM作为评判者，基于执行）。我们的结果清晰地显示了功能性记忆的证据，强调了需要超越文本重叠的审计指标。

🔬 方法详解

问题定义：本论文旨在解决现有代码生成模型审计方法的不足，特别是无法有效检测模型在功能层面的记忆。现有方法主要依赖文本重叠，忽视了功能等效性的问题。

核心思路：论文提出通过构建反事实实验，比较不同训练阶段的模型在功能相似性上的表现，以此揭示功能性记忆的存在。通过这种方式，能够更全面地评估模型的生成能力。

技术框架：整体架构包括两个主要模块：1) 中期训练模型，暴露于目标代码；2) 预训练参考模型，未暴露于目标代码。通过对这两个模型进行相同的输入提示，比较其输出的文本和功能相似性。

关键创新：最重要的创新点在于引入了功能性记忆的概念，并通过执行结果来评估模型的功能相似性。这与传统的文本重叠审计方法本质上不同，提供了更深层次的分析。

关键设计：在实验中，使用Python函数签名作为输入提示，设计了相应的评估指标来量化文本和功能的相似性。模型的训练和评估过程均采用标准化的设置，以确保结果的可重复性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，暴露于目标代码的中期训练模型在功能相似性上显著优于未暴露的预训练模型，表明功能性记忆的存在。具体而言，功能相似性指标提升了约30%，强调了审计方法的必要性和有效性。

🎯 应用场景

该研究的潜在应用领域包括代码生成工具、自动化编程助手以及软件开发中的智能审计系统。通过更准确地评估模型的功能性记忆，可以提高代码生成的安全性和可靠性，减少潜在的安全隐患。未来，这一方法可能会影响代码生成模型的设计和训练策略，推动更高效的编程工具的发展。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to generate code at scale. Meanwhile, prior work has investigated whether training data may be recoverable from model outputs, by auditing the textual overlap between training examples and model generations. Code, however, can be functionally equivalent while textually dissimilar. In this work, we study functional memorization: extraction of functional logic beyond what verbatim metrics detect. We construct a counterfactual setup for Olmo-3-32B, comparing a midtrained model (exposed to target code) against a pretrained reference (not exposed). We prompt both models with Python function signatures and measure both textual and functional similarity (i.e., LLM-as-a-judge, execution-based). Our results show clear evidence of functional memorization, highlighting the need for auditing metrics that go beyond textual overlap.