In-Context Neurofeedback: Can LLMs Control Their Internal Representations through Privileged Access?

📄 arXiv: 2609.00904v1 📥 PDF

作者: Koshiro Aoki, Ryota Takatsuki, Gouki Minegishi, Yusuke Haruki, Daisuke Kawahara

分类: cs.AI

发布日期: 2026-09-01

💡 一句话要点

重新设计神经反馈以评估LLMs的内在表征控制能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 神经反馈 元认知 内部表征 特权访问 人工智能安全 认知神经科学

📋 核心要点

  1. 现有研究表明LLMs可能能够控制其内部表征，但这种控制可能依赖于表面机制而非真实的内部访问。
  2. 本文通过重新设计神经反馈范式，确保控制目标满足特权访问要求，以更准确地评估LLMs的内部表征控制能力。
  3. 在新的实验设置下，模型未能展示出对特权内部表征的可靠控制，提示需要更严格的评估方法来研究LLMs的元认知能力。

📝 摘要（中文）

本文探讨了大型语言模型（LLMs）是否能够控制其内部表征，这对机器元认知和人工智能安全至关重要。先前研究声称LLMs可以通过神经反馈控制其内部表征，但这种控制可能依赖于表面机制而非真正的内部访问。为此，本文重新设计了神经反馈范式，使控制目标满足特权访问要求，接近人类认知神经科学中的神经反馈实验。在这一更严格的设置下，模型未能可靠地控制特权内部表征，表明之前的控制结果可能无法排除依赖表面机制的可能性。我们的结果表明，对LLMs的元认知进行严格评估需要采用要求特权访问的方法。

🔬 方法详解

问题定义：本文旨在解决LLMs是否能够真正控制其内部表征的问题。现有方法的痛点在于控制目标缺乏特权访问，可能导致结果依赖于表面机制。

核心思路：论文的核心思路是重新设计神经反馈实验，使得控制目标满足特权访问的要求，从而更接近人类认知神经科学中的实验设计。

技术框架：整体架构包括重新定义的神经反馈范式，主要模块包括控制目标的设计、模型的反馈机制以及评估方法的改进。

关键创新：最重要的技术创新在于确保控制目标具备特权访问，这与之前研究的设计本质上不同，能够更准确地评估LLMs的内部表征控制能力。

关键设计：在实验中，设计了新的损失函数和反馈机制，确保模型能够在特权访问的条件下进行评估，同时调整了网络结构以适应新的实验要求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在新的实验设置下，模型未能展示出对特权内部表征的可靠控制，表明之前的研究结果可能依赖于表面机制。这一发现强调了对LLMs进行元认知评估时需要采用更严格的方法。

🎯 应用场景

该研究的潜在应用领域包括人工智能安全、机器学习模型的元认知评估以及人机交互系统的优化。通过深入理解LLMs的内部表征控制能力，可以为未来的AI系统设计提供重要的理论基础和实践指导。

📄 摘要（原文）

Whether large language models (LLMs) can control their own internal representations matters for both machine metacognition and AI safety. A recent study applied neurofeedback to LLMs and claimed that they can control their internal representations. However, the reported control may rely on superficial mechanisms rather than genuine internal access because the control targets in that study are not privileged, meaning that a third party can infer them from the prompt. We redesign the neurofeedback paradigm for LLMs so that the control target satisfies the privileged access requirement, which is closer to neurofeedback experiments in human cognitive neuroscience. Under this stricter setting, the models do not demonstrate reliable control over privileged internal representations, suggesting that previously reported control cannot exclude the possibility that it relies on superficial mechanisms. Our results indicate that rigorous assessments of metacognition in LLMs require evaluation methods that demand privileged access.