Is The Watermarking Of LLM-Generated Code Robust?

📄 arXiv: 2403.17983v4 📥 PDF

作者: Tarun Suresh, Shubham Ugare, Gagandeep Singh, Sasa Misailovic

分类: cs.CR, cs.LG

发布日期: 2024-03-24 (更新: 2025-08-19)

🔗 代码/项目: GITHUB

💡 一句话要点

研究现有水印技术在LLM生成代码中的脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水印技术 大型语言模型 代码生成 鲁棒性 抽象语法树 语义保持变换 软件开发 知识产权

📋 核心要点

  1. 现有水印技术在代码生成中的脆弱性使得其在检测AI生成代码时面临挑战。
  2. 本文提出了一种基于抽象语法树的算法，通过随机语义保持变换系统评估水印的鲁棒性。
  3. 实验结果显示，简单的代码修改可导致水印可检测性显著下降，真实正例率降至50%以下。

📝 摘要（中文）

本文首次深入研究了现有水印技术在大型语言模型（LLM）生成代码中的鲁棒性。随着LLM在软件开发中的应用日益增加，水印技术被视为检测AI生成代码和减少滥用（如抄袭或自动生成恶意程序）的潜在解决方案。尽管以往研究表明水印在文本环境中的韧性，本文揭示了水印技术在代码上下文中显著脆弱。我们展示了简单的语义保持变换（如变量重命名和死代码插入）能够有效消除水印而不改变程序功能。为系统评估水印鲁棒性，我们开发了一种算法，遍历水印程序的抽象语法树（AST），并应用一系列随机的语义保持变换。实验结果表明，即使是微小的修改也能显著降低水印的可检测性，许多情况下真实正例率（TPR）降至50%以下。

🔬 方法详解

问题定义：本文旨在解决现有水印技术在LLM生成代码中的脆弱性问题。现有方法在文本环境中表现良好，但在代码上下文中却显得不够稳健，容易被简单的代码变换所消除。

核心思路：论文的核心思路是通过开发一种算法，系统地评估水印的鲁棒性，利用抽象语法树（AST）对水印程序进行遍历，并应用随机的语义保持变换，以测试水印的耐受性。

技术框架：整体架构包括水印程序的AST遍历模块和随机变换应用模块。首先，算法解析水印程序的AST，然后对其进行一系列语义保持变换，最后评估水印的可检测性。

关键创新：最重要的技术创新在于提出了一种系统化的评估方法，通过随机变换来测试水印的鲁棒性，这与以往仅在文本环境中评估水印的方式有本质区别。

关键设计：算法的关键设计包括对AST的遍历策略、变换类型的选择（如变量重命名、死代码插入）以及评估水印可检测性的标准（如真实正例率TPR）。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，简单的代码修改（如变量重命名和死代码插入）可以使水印的真实正例率（TPR）降至50%以下，显示出水印技术在代码上下文中的脆弱性。这一发现强调了在代码生成领域改进水印技术的重要性。

🎯 应用场景

该研究在软件开发、代码审计和安全领域具有广泛的应用潜力。通过提高水印技术的鲁棒性，可以有效检测和防止AI生成代码的滥用，保护知识产权，促进负责任的AI使用。未来，改进的水印技术可能会在自动化代码生成和软件开发工具中得到更广泛的应用。

📄 摘要（原文）

We present the first in depth study on the robustness of existing watermarking techniques applied to code generated by large language models (LLMs). As LLMs increasingly contribute to software development, watermarking has emerged as a potential solution for detecting AI generated code and mitigating misuse, such as plagiarism or the automated generation of malicious programs. While previous research has demonstrated the resilience of watermarking in the text setting, our work reveals that watermarking techniques are significantly more fragile in code-based contexts. Specifically, we show that simple semantic-preserving transformations, such as variable renaming and dead code insertion, can effectively erase watermarks without altering the program's functionality. To systematically evaluate watermark robustness, we develop an algorithm that traverses the Abstract Syntax Tree (AST) of a watermarked program and applies a sequence of randomized, semantics-preserving transformations. Our experimental results, conducted on Python code generated by different LLMs, indicate that even minor modifications can drastically reduce watermark detectability, with true positive rates (TPR) dropping below 50% in many cases. Our code is publicly available at https://github.com/uiuc-arc/llm-code-watermark.