From Representation to Readout: Mechanistic Analysis of Membership Signals in Language Models

📄 arXiv: 2610.41445v1 📥 PDF

作者: Wenxi Dai, Jingyu Hu, Yanting Yang, Mengnan Du

分类: cs.LG, cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出DUG指标以分析语言模型中的成员信号

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推断 语言模型 可解码信息 激活补丁 强化学习 模型安全性 数据隐私

📋 核心要点

  1. 现有的成员推断方法往往将成员信号简单归结为记忆，缺乏对其内部机制的深入分析。
  2. 本文提出了一套新的度量指标DUG，以量化语言模型中成员信息的可解码性和读出可达性。
  3. 实验结果表明，成员特定效应在不同的推断方法中表现出不同的特征，且激活补丁技术有效局限了效应的层次。

📝 摘要（中文）

成员推断旨在确定特定示例是否包含在模型的训练数据中。这些成员信号通常被广泛描述为记忆，而其背后的机制涉及信息如何在内部表示以及模型如何访问这些信息以产生行为。本文对大型语言模型中的成员信号进行了机械分析，提出了可解码信息分数、使用信息分数和读出可达性差（DUG）等一系列互补度量，分别量化从内部表示中可解码的成员信息及其在模型读出中的暴露程度。研究发现，在监督微调和基于强化学习的成员推断方法中，成员特定效应在可解码信息和读出中均有体现，而在基于强化学习的方法中主要体现在读出上。激活补丁进一步将这种成员特定效应局限于中间层。

🔬 方法详解

问题定义：本文旨在解决如何准确分析语言模型中的成员信号及其内部机制的问题。现有方法往往忽视了成员信息的可解码性与读出可达性之间的关系。

核心思路：提出DUG指标，通过可解码信息分数和读出可达性差来分别量化成员信息的内部表示和模型输出，从而深入理解成员信号的形成机制。

技术框架：研究分为几个主要阶段：首先，通过监督微调和强化学习方法进行模型训练；其次，利用DUG指标分析成员信号；最后，使用激活补丁技术局限效应至中间层。

关键创新：DUG指标的提出是本文的核心创新，它提供了一种新的视角来理解语言模型中的成员信号，与传统方法相比，能够更细致地揭示信息的可解码性和读出特性。

关键设计：在实验中，采用了不同的损失函数和网络结构，以确保DUG指标的有效性和准确性，同时通过激活补丁技术来验证成员特定效应的层次性。

📊 实验亮点

实验结果显示，在监督微调下，模型的可解码信息和读出均表现出明显的成员特定效应，而在强化学习方法中，效应主要集中在读出上。激活补丁技术有效地将效应局限于中间层，进一步验证了DUG指标的有效性。

🎯 应用场景

该研究的潜在应用领域包括数据隐私保护、模型安全性评估以及优化语言模型的训练过程。通过深入理解成员信号的机制，可以为构建更安全和高效的人工智能系统提供理论支持和实践指导。

📄 摘要（原文）

Membership inference aims to determine whether a particular example was included in a model's training data. Such membership signals are often broadly described as memorization, while the underlying mechanisms can involve both how information is represented internally and how it is accessed by the model to produce behaviors. We therefore present a mechanistic study of membership signals in large language models (LLMs). We introduce Decodable Information Score, Used Information Score, and Readout Accessibility Gap (DUG), a set of complementary measures that separately quantify membership information decodable from internal representations and the extent to which it is exposed through the model's readout. Across supervised fine-tuning (SFT) and reinforcement learning (RL)-based membership inference methods, membership-specific effects appear in both the amount of decodable information and readout under SFT, while under RL-based membership inference methods they appear primarily in readout. Activation patching further localizes this membership-specific effect to intermediate layers. To examine whether these findings extend to a more general RL setting, we further study reinforcement learning with verifiable rewards (RLVR) contamination, where the training reward is independent of the reference solution. In this setting, we find that behavioral changes can emerge without a corresponding increase in likelihood-based membership inference signals.