Embedded Conditional Independence Tests for Large Language Model Generated Text with an Application to German Parliament Speeches

📄 arXiv: 2609.00946v1 📥 PDF

作者: Marco Simnacher, Georg Keilbar, Benjamin König, Christoph Lippert, Sonja Greven

分类: stat.ML, cs.AI, cs.LG, math.ST, stat.ME

发布日期: 2026-09-01

备注: 41 pages, 6 figures

💡 一句话要点

提出嵌入式条件独立性检验以分析语言模型生成文本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 条件独立性检验 嵌入式方法 多模态数据 文本生成 信息传递分析

📋 核心要点

  1. 现有的条件独立性检验在处理高维和多模态数据时存在局限性，尤其是在文本分析中。
  2. 本文提出嵌入式条件独立性检验（eCITs），通过对生成文本和源文本进行嵌入，来测试信息传递的条件独立性。
  3. 在对德国议会演讲的应用中，eCITs能够有效识别演讲摘要中包含的超出演讲内容的信息，显示出显著的效果。

📝 摘要（中文）

条件独立性检验（CITs）用于测试在给定第三个随机对象的情况下，两个随机对象之间的条件依赖性。现有的CITs在高维数据，尤其是文本等多模态数据中的适用性有限。本文提出嵌入式条件独立性检验（eCITs），通过嵌入生成的文本和源文本，应用现有的CITs于其表示和属性。我们展示了在嵌入足够的情况下，原假设可以转移到其表示上，并给出了两种假设等价的条件。通过半合成模拟设计评估eCITs的类型I错误控制和效能，并在德国议会演讲中应用，发现生成的摘要包含了超出演讲本身的信息。

🔬 方法详解

问题定义：本文旨在解决现有条件独立性检验在高维多模态数据（如文本）中的适用性不足的问题，尤其是如何有效地测试生成文本与其源文本之间的信息传递关系。

核心思路：提出嵌入式条件独立性检验（eCITs），通过将生成文本和源文本进行嵌入，利用现有的CITs对其表示进行分析，从而判断生成文本是否携带超出源文本的信息。

技术框架：整体流程包括三个主要模块：首先对源文本和生成文本进行嵌入；其次应用现有的CITs于嵌入后的表示；最后评估检验结果的有效性和假设的转移条件。

关键创新：最重要的创新在于提出了eCITs这一新方法，使得条件独立性检验能够在高维数据上有效应用，且能够处理文本生成中的信息传递问题。

关键设计：在设计中，嵌入映射的选择至关重要，需确保其能够保留源文本关于目标属性的信息。同时，针对条件均值独立性的检验，提出了均值充分性的概念，以简化假设检验的条件。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，应用eCITs于德国议会演讲的摘要分析中，所有考虑的嵌入映射组合均显示出生成的摘要包含了关于发言者派系和性别的信息，超出了演讲本身的内容。这一发现验证了eCITs的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括文本生成分析、社交媒体内容理解以及政治演讲的情感分析等。通过识别生成文本中潜在的隐含信息，能够为文本分析提供新的视角，提升信息提取的准确性和深度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Conditional independence tests (CITs) test for conditional dependence between two random objects $X$ and $Y$ given a third random object $Z$. Existing CITs have limited applicability to high-dimensional data, especially multimodal data like text. However, we show that such tests are of interest for large language model (LLM) outputs, where we test whether an output $X$ generated from a source text $Z$ carries information about an attribute $Y$ beyond $Z$ itself. For this purpose, we propose embedded CITs (eCITs), which embed $X$ and $Z$ and apply an existing CIT to the resulting representations and to $Y$. We show that, provided the embedding of $Z$ is sufficient, i.e. retains the information $Z$ carries about either $Y$ or the representation of $X$, the null hypothesis transfers from $X$ and $Z$ to their representations, so that a CIT valid for the embedded hypothesis is valid for the original one. We further give conditions for equivalence of the two hypotheses, and show that sufficiency weakens to mean sufficiency when the embedded test targets conditional mean independence. We propose a semi-synthetic simulation design to assess type I error (T1E) control and power of the eCITs for given embedding maps on a specific dataset and task, and use it to evaluate them on our application. Applying the eCITs to German Parliament speeches, we find for all combinations of embedding maps considered that the summaries of two LLMs contain information about the speaker's faction and gender beyond the speech they were generated from.