Construction-Driven Injection: Linguistically-Grounded Edit-Based Code-Mixing Fingerprints for Large Language Models
作者: Yongyi Cui, Yue Li, Tianbao Jiang, Xin Yi
分类: cs.CL, cs.AI
发布日期: 2026-07-28
💡 一句话要点
提出基于语言结构的指纹注入方法以解决现有指纹技术的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指纹注入 大型语言模型 自然语言处理 跨语言对齐 知识产权保护
📋 核心要点
- 现有指纹技术在构建与注入阶段之间存在脱节，导致指纹的有效性和稳定性不足。
- 本文提出了一种统一的指纹框架，通过结合低资源语言和语法偏向混合来构建代码混合指纹，并通过高资源多语言表示进行注入。
- 实验结果表明，该方法在隐蔽性、可检测性和无害性方面表现优异，实现了持续的所有权验证，且对模型效用影响极小。
📝 摘要（中文）
大型语言模型（LLMs）作为重要的知识资产，面临未经授权的再分发和商业滥用风险。注入指纹，即嵌入模型行为的触发-目标对，提供了一种实用的、黑箱可验证的所有权信号。然而，现有方法在指纹生命周期的构建和注入两个阶段之间存在脱节，导致自然语言指纹容易意外激活，而混淆指纹则容易被基于困惑度的检测过滤。本文提出了一种统一的指纹框架，通过优化指纹的构建和注入过程，确保注入过程受到语言结构的驱动，从而提高稳定性和有效性。
🔬 方法详解
问题定义：本文旨在解决现有指纹技术在构建与注入阶段脱节的问题，导致指纹容易被意外激活或被检测过滤。
核心思路：提出一种统一的指纹框架，优化指纹的构建与注入过程，使注入过程受到语言结构的驱动，从而提高指纹的稳定性和有效性。
技术框架：整体架构包括两个主要模块：指纹构建模块（LCF）和指纹注入模块（LCFEdit）。LCF通过语义密度替代规则和语法偏向混合构建指纹，LCFEdit则通过高资源多语言表示进行注入。
关键创新：最重要的创新在于将指纹构建与注入过程结合，确保注入过程受到语言结构的影响，从而避免了传统方法的局限性。
关键设计：在指纹构建中，采用低资源语言的语法偏向混合，确保触发器的困惑度低于混淆基线；在注入过程中，利用高资源多语言表示的零空间投影，增强了知识的保留和跨语言对齐。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在隐蔽性、可检测性和无害性方面均优于现有基线，指纹的困惑度显著低于混淆指纹，且对模型效用的影响微乎其微，验证了其在所有权验证中的有效性。
🎯 应用场景
该研究的潜在应用领域包括保护大型语言模型的知识产权，防止未经授权的使用和再分发。通过提供一种有效的指纹注入方法，可以在商业应用中实现更好的模型所有权验证，确保模型的合法使用。未来，该技术可能在多语言处理和跨语言模型的安全性方面发挥重要作用。
📄 摘要（原文）
Large language models (LLMs) are costly intellectual assets that remain exposed to unauthorized redistribution and commercial misuse. Injected fingerprints, i.e., trigger--target pairs embedded in model behavior, offer a practical, black-box-verifiable ownership signal, but existing methods decouple the two stages of the fingerprint life cycle: how a fingerprint is constructed and how it is injected. Existing fingerprinting frameworks suffer from two limitations. Natural-language fingerprints are prone to accidental activation, and garbled fingerprints are easily filtered by perplexity-based detection. Furthermore, decoupling construction from injection leaves the latter unaware of the trigger's linguistic structure, missing the opportunity for targeted optimization. We argue that fingerprint construction should drive injection, and present a unified fingerprinting framework that jointly optimizes both stages. First, LCF constructs code-mixing fingerprints by combining low-resource languages under a semantic-density substitution rule and grammar-biased mixing, yielding triggers whose perplexity sits far below garbled baselines while avoiding the accidental-activation failures of natural-language triggers. Second, LCFEdit injects each fingerprint with a null-space projection derived from high-resource multilingual representations that preserves knowledge, augmented by a cross-lingual alignment step that steers the weight update toward the fingerprint language's representation subspace. This construction-aware injection ensures that the update is linguistically informed and therefore more stable. Extensive evaluations on imperceptibility, detectability, and harmlessness demonstrate persistent ownership verification with negligible impact on utility.