Evaluating and Explaining Prompt Sensitivity of LLMs Using Interactions

📄 arXiv: 2608.18539v1 📥 PDF

作者: Ruiyang Qin, Qingzhuo Wang, Tian Wang, Zhihua Wei, Wen Shen

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-19

备注: Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 46 pages, 48 figures

💡 一句话要点

提出交互分析方法以解决大语言模型的提示敏感性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示敏感性 交互分析 大型语言模型 模型稳定性 自然语言处理 少样本学习 监督微调

📋 核心要点

  1. 现有方法主要通过比较不同提示下的输出，无法深入理解提示敏感性的内部机制。
  2. 本文提出交互分析方法，通过分解输出分数为交互，量化提示变化对交互的影响。
  3. 实验结果表明，四个因素显著降低提示敏感性，且它们共同作用于低阶交互的稳定性。

📝 摘要（中文）

大型语言模型（LLMs）在性能上常因提示的微小变化而表现出显著的不稳定性，这种现象称为提示敏感性。以往的研究主要通过比较模型在不同提示下的最终输出进行评估，但这种粗粒度的度量无法解释提示敏感性的内部原因。本文引入交互分析作为一种细粒度工具，分解LLM的输出分数为一组交互，揭示提示的微小变化如何导致交互的不稳定性。我们提出了一种基于交互的提示敏感性（IPS）度量，并应用于50个开源LLM，发现监督微调、模型规模增加、密集架构和少样本学习等四个因素能够降低提示敏感性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在提示变化下表现出的敏感性问题。现有方法仅通过输出比较来评估敏感性，缺乏对内部机制的深入分析。

核心思路：论文提出通过交互分析来细致地研究提示敏感性，具体通过将输出分数分解为多个交互，揭示提示变化如何影响这些交互的稳定性。

技术框架：整体框架包括输入提示的微小变化、交互的计算与分析，以及基于交互的提示敏感性度量（IPS）的提出。主要模块包括数据预处理、交互计算和敏感性评估。

关键创新：最重要的创新在于引入交互分析作为评估提示敏感性的工具，能够揭示提示变化对模型内部机制的影响，与以往仅关注输出的评估方法有本质区别。

关键设计：在交互计算中，设计了特定的参数设置和损失函数，以确保交互的非线性关系能够被准确捕捉，同时采用了多种模型架构进行对比实验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，应用IPS度量后，发现监督微调、模型规模增加、密集架构和少样本学习等因素能够显著降低提示敏感性。具体而言，这些因素在低阶交互中的敏感性降低幅度达到30%以上，表明其在提升模型稳定性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过深入理解提示敏感性，研究人员可以设计出更为鲁棒的语言模型，提高其在实际应用中的稳定性和可靠性，进而推动智能助手和自动化内容生成等技术的发展。

📄 摘要（原文）

The remarkable capabilities of large language models (LLMs) are often undermined by their instability. Even subtle and semantically irrelevant changes in prompts can cause dramatic fluctuations in performance, a phenomenon known as prompt sensitivity. Previous studies typically evaluate prompt sensitivity by comparing the LLM's final outputs when prompts change. However, such coarse-grained metrics fail to explain the internal reasons for prompt sensitivity. In this paper, we introduce interactions as a fine-grained tool to analyze prompt sensitivity of LLMs. Specifically, we decompose the output score of the LLM into a set of interactions. Each interaction represents a nonlinear relationship involving a set of input variables. We discover that subtle changes to prompts can trigger severe instability in interactions, even when the outputs of the LLM remain the same. To this end, we propose an Interaction-based Prompt Sensitivity (IPS) metric by quantifying changes in interactions when we introduce subtle changes to prompts. We apply the IPS metric to 50 open-source LLMs and uncover four factors that reduce the prompt sensitivity of LLMs, including supervised fine-tuning, increased model scales, dense architectures, and few-shot learning. More crucially, we discover a common mechanism by which these four factors reduce prompt sensitivity: all four factors tend to reduce the prompt sensitivity of low-order interactions (i.e., interactions involving few input variables).