Microsaccade-Inspired Probing: Positional Encoding Perturbations Reveal LLM Misbehaviours

📄 arXiv: 2510.01288v1 📥 PDF

作者: Rui Melo, Rui Abreu, Corina S. Pasareanu

分类: cs.LG, cs.AI

发布日期: 2025-10-01

备注: 9 main pages, 13 appendix pages

💡 一句话要点

微眼跳启发式探测：位置编码扰动揭示大语言模型的不良行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 位置编码 微眼跳 不良行为检测 安全性 鲁棒性 后门攻击 模型评估

📋 核心要点

  1. 现有方法难以有效检测大语言模型（LLM）在事实性、安全性和鲁棒性等方面存在的潜在问题。
  2. 该论文提出一种受微眼跳启发的探测方法，通过轻微扰动位置编码来触发LLM内部的潜在信号，从而揭示模型的不良行为。
  3. 实验表明，该方法无需微调或任务监督，即可有效检测多种LLM在事实性、安全性、毒性和后门攻击等方面的缺陷。

📝 摘要（中文）

本文受到微眼跳的启发，微眼跳是揭示人类感知隐藏动态的微小不自主眼球运动。我们提出了一种类似的探测方法，用于大型语言模型（LLM）。正如微眼跳揭示视觉中细微但信息丰富的变化一样，我们表明轻量级位置编码扰动可以引发潜在信号，表明模型的不良行为。我们的方法不需要微调或特定于任务的监督，但可以检测各种设置中的失败，包括事实性、安全性、毒性和后门攻击。在多个最先进的LLM上的实验表明，这些基于扰动的探测方法可以发现不良行为，同时保持计算效率。这些发现表明，预训练的LLM已经编码了标记自身失败所需的内部证据，并且受微眼跳启发的干预措施为检测和减轻不良行为提供了一条途径。

🔬 方法详解

问题定义：论文旨在解决如何有效检测大型语言模型（LLM）中隐藏的不良行为，例如生成不实信息、有害内容或受到后门攻击等。现有方法通常需要针对特定任务进行微调或监督学习，成本高昂且泛化能力有限。此外，现有方法难以发现模型内部的细微缺陷。

核心思路：论文的核心思路是借鉴人类视觉系统中的微眼跳现象。微眼跳是人眼在注视过程中发生的微小、不自主的眼球运动，能够揭示视觉感知的隐藏动态。作者认为，类似地，通过对LLM的位置编码进行轻微扰动，可以触发模型内部的潜在信号，从而揭示其不良行为。这种方法的关键在于，LLM本身已经包含了检测自身错误的内部证据，而位置编码扰动可以激活这些证据。

技术框架：该方法主要包含以下步骤：1) 选择一个预训练的LLM；2) 对输入文本的位置编码进行微小扰动；3) 将扰动后的文本输入LLM，并观察其输出；4) 分析输出结果，判断是否存在不良行为。整个过程无需微调或任务特定的监督。

关键创新：该方法最重要的创新点在于，它将人类视觉系统的微眼跳现象与LLM的内部机制联系起来，提出了一种新颖的探测方法。与现有方法相比，该方法无需微调或监督学习，具有更高的效率和泛化能力。此外，该方法能够揭示LLM内部的细微缺陷，为模型的安全性和可靠性评估提供了新的视角。

关键设计：位置编码扰动的具体实现方式未知，论文中可能使用了某种随机或有针对性的扰动策略。此外，如何分析LLM的输出结果，判断是否存在不良行为，也是一个关键的设计问题。论文可能使用了某种指标或分类器来评估输出结果的质量和安全性。这些技术细节需要在论文中进一步阐述。

📊 实验亮点

该论文提出了一种新颖的基于位置编码扰动的LLM不良行为检测方法，并在多个最先进的LLM上进行了实验验证。实验结果表明，该方法无需微调或任务监督，即可有效检测LLM在事实性、安全性、毒性和后门攻击等方面的缺陷，同时保持计算效率。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于大语言模型的安全性和可靠性评估，帮助开发者及时发现和修复模型中存在的缺陷。此外，该方法还可以用于检测和防御针对LLM的恶意攻击，例如后门攻击和对抗性攻击。未来，该方法有望成为LLM开发和部署过程中的一项重要工具。

📄 摘要（原文）

We draw inspiration from microsaccades, tiny involuntary eye movements that reveal hidden dynamics of human perception, to propose an analogous probing method for large language models (LLMs). Just as microsaccades expose subtle but informative shifts in vision, we show that lightweight position encoding perturbations elicit latent signals that indicate model misbehaviour. Our method requires no fine-tuning or task-specific supervision, yet detects failures across diverse settings including factuality, safety, toxicity, and backdoor attacks. Experiments on multiple state-of-the-art LLMs demonstrate that these perturbation-based probes surface misbehaviours while remaining computationally efficient. These findings suggest that pretrained LLMs already encode the internal evidence needed to flag their own failures, and that microsaccade-inspired interventions provide a pathway for detecting and mitigating undesirable behaviours.