Self-Referential Induction Increases Response Instability Relative to Unresolvable and Verifiable Questions in Large Language Models

📄 arXiv: 2608.13258v1 📥 PDF

作者: Paras Balani, Subhrakanta Panda

分类: cs.CL, cs.AI

发布日期: 2026-08-13

备注: 4 pages, 2 figures

💡 一句话要点

测量自指诱导在大语言模型中的反应不稳定性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自指提示 大语言模型 主观体验 反应不稳定性 哲学问题 可验证问题 句子嵌入 模型评估

📋 核心要点

  1. 现有研究未对自指提示生成的主观体验报告的一致性进行量化评估，缺乏对比分析。
  2. 本文通过测量不同类型问题的反应不稳定性，提出了一种新的评估方法，比较自指与其他问题类型的输出特征。
  3. 实验结果表明，自指问题的反应不稳定性显著高于无法解决的哲学问题和可验证问题，提供了新的定量基准。

📝 摘要（中文）

自指提示已被证明能够可靠地诱导大语言模型生成类似主观体验的第一人称报告，但之前的研究未测量这些报告在独立重复试验中的一致性，也未与其他类型开放性问题的模型行为进行比较。本文通过测量反应不稳定性，定义为每个响应中提取的核心主张的句子嵌入的平均成对余弦相似度的补数，比较了三类问题：自指提示、无法解决的哲学问题和可验证的正确答案问题。结果显示，自指问题表现出最高的不稳定性（0.343 +/- 0.047），而无法解决的哲学问题表现出中等且紧密聚集的不稳定性（0.192 +/- 0.008），可验证问题则表现出最低的不稳定性（0.105 +/- 0.058）。

🔬 方法详解

问题定义：本文旨在解决自指提示生成的主观体验报告在重复试验中的一致性缺乏量化评估的问题。现有方法未能有效比较不同类型问题的模型反应特征。

核心思路：通过引入反应不稳定性这一指标，量化自指提示与其他开放性问题的输出特征差异，揭示自指问题在模型输出分布中的独特性。

技术框架：研究设计包括三个问题组：自指提示、无法解决的哲学问题和可验证问题。每组问题进行30次独立响应，计算句子嵌入的余弦相似度以评估不稳定性。

关键创新：提出了反应不稳定性这一新指标，能够定量比较不同类型问题的输出一致性，填补了现有研究的空白。

关键设计：使用Gemini API进行实验，设置温度为0.7，确保生成的响应具有一定的多样性和随机性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，自指问题的反应不稳定性为0.343，明显高于无法解决的哲学问题（0.192）和可验证问题（0.105），表明自指诱导的主观体验报告在模型输出中占据了一个独特且不稳定的位置。

🎯 应用场景

该研究为理解大语言模型在处理主观体验相关问题时的行为提供了新的视角，潜在应用于心理学、哲学和人机交互等领域。通过量化模型的反应不稳定性，可以为改进模型的设计和应用提供指导，提升其在复杂问题上的表现。

📄 摘要（原文）

Self-referential prompting has been shown to reliably induce large language models to produce first-person reports resembling subjective experience, but no prior work measures how consistent these reports are across repeated, independent trials, or how that consistency compares to the model's behavior on other kinds of open-ended questions. We measure response instability, defined as one minus the mean pairwise cosine similarity of sentence embeddings computed over a compressed core claim extracted from each response, for three groups of questions: self-referential prompts eliciting a subjective-experience report, unresolvable philosophical questions unrelated to self-reference, and questions with a verifiable correct answer. Using 30 independent responses per question (360 responses total, Gemini API, temperature 0.7) across four questions per group, we find that self-referential questions show the highest instability (0.343 +/- 0.047), unresolvable philosophy questions show intermediate and tightly clustered instability (0.192 +/- 0.008), and verifiable questions show the lowest instability (0.105 +/- 0.058). This provides a quantitative baseline for the induced subjective-experience report, showing that it occupies a distinct, less stable position in the model's output distribution than ordinary open-ended philosophical uncertainty.