Testing for LLM response differences: the case of a composite null consisting of semantically irrelevant query perturbations

📄 arXiv: 2509.10963v1 📥 PDF

作者: Aranyak Acharyya, Carey E. Priebe, Hayden S. Helm

分类: math.ST, cs.AI, stat.ME

发布日期: 2025-09-13

💡 一句话要点

提出一种新的假设检验方法，用于评估LLM对语义无关扰动的鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 假设检验 语义扰动 响应分布 统计推断

📋 核心要点

  1. 传统统计假设检验在评估LLM时，易受语义无关扰动影响，导致对等价查询产生不同响应。
  2. 论文提出一种新的检验程序，考虑一组语义相似的查询，以提高对语义扰动的鲁棒性。
  3. 论文分析了二元响应情况，证明了该检验方法在渐近意义下的有效性和一致性，并讨论了实际应用。

📝 摘要（中文）

本文研究了大型语言模型（LLM）对输入查询的响应分布差异的检验问题。传统的统计假设检验方法在评估LLM时，容易受到查询中语义无关扰动的影响，导致对语义等价的查询产生不同的响应分布。为了解决这个问题，本文提出了一种新的检验程序，该程序考虑了一组语义相似的查询。该方法需要在固定预算下估计从语义相似查询集合到响应分布集合的映射关系。本文重点分析了二元响应的情况，证明了所提出的检验方法在渐近意义下的有效性和一致性，并讨论了在功效和计算方面的重要实际考虑因素。

🔬 方法详解

问题定义：论文旨在解决如何更准确地比较大型语言模型（LLM）对不同输入查询的响应分布的问题。现有方法，即传统的统计假设检验，对查询中的细微语义无关扰动非常敏感，导致即使是语义上等价的查询，也可能被判定为产生不同的响应分布。这使得检验结果与用户的实际需求不符，例如，用户可能希望知道两个查询在语义上是否等价，而传统方法却因为一些无关紧要的词语差异而给出否定结论。

核心思路：论文的核心思路是，与其直接比较两个特定查询的响应分布，不如考虑一组与这两个查询语义相似的查询集合。通过考察这些语义相似查询的响应分布，可以更全面地评估LLM对语义的理解能力，并降低因细微扰动而产生的误判。这种方法相当于对查询进行“平滑”，从而提高检验的鲁棒性。

技术框架：该方法包含以下几个主要步骤：1. 定义两个待比较的原始查询。2. 为每个原始查询生成一组语义相似的查询集合。3. 使用LLM对每个查询集合中的查询进行响应，并收集响应数据。4. 基于收集到的响应数据，估计从查询集合到响应分布的映射关系。5. 使用提出的统计检验方法，比较两个查询集合的响应分布，判断它们是否在统计意义上相同。

关键创新：该方法最重要的创新点在于，它将传统的点对点比较扩展到了集合对集合的比较。通过考虑语义相似查询集合，该方法能够更好地捕捉LLM对语义的理解，并降低对细微扰动的敏感性。此外，该方法还考虑了在固定预算下估计响应分布的问题，这在实际应用中非常重要，因为LLM的调用通常需要成本。

关键设计：论文重点分析了二元响应的情况，并提出了相应的统计检验方法。该方法基于渐近理论，证明了其在渐近意义下的有效性和一致性。在实际应用中，需要仔细选择语义相似查询的生成方法，以及合适的统计检验方法。此外，还需要考虑计算成本和检验的功效，以便在有限的预算下获得最佳的检验效果。

📊 实验亮点

论文在二元响应的设定下，证明了所提出的检验方法在渐近意义下的有效性和一致性。这意味着，当样本量足够大时，该方法能够正确地判断两个查询集合的响应分布是否相同。此外，论文还讨论了在实际应用中需要考虑的功效和计算问题，为该方法的实际应用提供了指导。

🎯 应用场景

该研究成果可应用于评估和比较不同LLM的性能，尤其是在处理自然语言理解任务时。例如，可以用于测试LLM对同义词、释义和轻微语法变化的鲁棒性。此外，该方法还可以用于检测LLM是否存在偏差，例如，对不同性别或种族群体的查询产生不同的响应。

📄 摘要（原文）

Given an input query, generative models such as large language models produce a random response drawn from a response distribution. Given two input queries, it is natural to ask if their response distributions are the same. While traditional statistical hypothesis testing is designed to address this question, the response distribution induced by an input query is often sensitive to semantically irrelevant perturbations to the query, so much so that a traditional test of equality might indicate that two semantically equivalent queries induce statistically different response distributions. As a result, the outcome of the statistical test may not align with the user's requirements. In this paper, we address this misalignment by incorporating into the testing procedure consideration of a collection of semantically similar queries. In our setting, the mapping from the collection of user-defined semantically similar queries to the corresponding collection of response distributions is not known a priori and must be estimated, with a fixed budget. Although the problem we address is quite general, we focus our analysis on the setting where the responses are binary, show that the proposed test is asymptotically valid and consistent, and discuss important practical considerations with respect to power and computation.