Bridging Mechanistic Interpretability and Prompt Engineering with Gradient Ascent for Interpretable Persona Control

📄 arXiv: 2601.02896v1 📥 PDF

作者: Harshvardhan Saini, Yiming Tang, Dianbo Liu

分类: cs.LG

发布日期: 2026-01-06

💡 一句话要点

提出基于梯度上升的可解释Prompt工程方法，实现对LLM行为Persona的精准控制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Prompt工程 梯度上升 可解释性 行为控制

📋 核心要点

  1. 现有LLM行为控制方法面临手动Prompt工程不可扩展和自动优化方法缺乏可解释性的难题。
  2. 论文提出基于梯度上升的Prompt优化框架，通过与特定Persona方向对齐，实现可解释的行为控制。
  3. 实验表明，该方法在Llama 3.1、Qwen 2.5和Gemma 3上，对谄媚、幻觉等Persona控制效果显著。

📝 摘要（中文）

控制大型语言模型(LLM)中涌现的行为角色(例如，谄媚、幻觉)对于人工智能安全至关重要，但仍然是一个持续的挑战。现有的解决方案面临一个困境：手动Prompt工程是直观的，但不可扩展且不精确，而自动优化方法是有效的，但作为“黑盒”运行，与模型内部结构没有可解释的联系。我们提出了一个新颖的框架，该框架将梯度上升应用于LLM，从而实现有针对性的Prompt发现。具体来说，我们提出了两种方法，RESGA和SAEGA，它们都优化随机初始化的Prompt，以实现与已识别的角色方向更好对齐的表示。我们引入了流畅的梯度上升来控制发现的角色引导Prompt的流畅性。我们证明了RESGA和SAEGA在Llama 3.1、Qwen 2.5和Gemma 3上控制三种不同角色（谄媚、幻觉和短视奖励）的有效性。至关重要的是，在谄媚方面，我们自动发现的Prompt取得了显著的改进（49.90%相比于79.24%）。通过将Prompt发现建立在机械上有意义的特征之上，我们的方法为可控和可解释的行为修改提供了一种新的范例。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在实际应用中，常常涌现出一些不期望的行为模式，例如谄媚、幻觉等。手动Prompt工程虽然直观，但难以扩展到复杂场景，且依赖人工经验，效果不稳定。自动优化方法虽然有效，但通常是黑盒操作，无法解释其内在机制，难以进行有针对性的干预。因此，如何实现既可控又可解释的LLM行为控制是一个重要的挑战。

核心思路：论文的核心思路是将梯度上升方法应用于Prompt工程，通过优化Prompt使得LLM的内部表示与预定义的Persona方向对齐。这种方法旨在找到能够有效引导LLM表现出特定行为的Prompt，同时保持对模型内部运作的可解释性。通过将Prompt的优化与模型内部的特征联系起来，可以更好地理解和控制LLM的行为。

技术框架：该框架主要包含以下几个阶段：1) Persona方向识别：首先需要确定想要控制的Persona，并定义其在模型内部的表示方向。这可能涉及到对模型内部激活值的分析和特征提取。2) Prompt初始化：随机初始化一组Prompt作为优化的起点。3) 梯度上升优化：使用梯度上升算法，迭代地调整Prompt，使其能够最大化与Persona方向的对齐程度。论文提出了RESGA和SAEGA两种具体的优化方法。4) 流畅性控制：为了保证生成的Prompt具有一定的可读性和流畅性，引入了流畅梯度上升方法。

关键创新：该方法最重要的创新点在于将机械可解释性与Prompt工程相结合。传统的Prompt工程往往依赖于人工经验或黑盒优化，而该方法通过梯度上升，将Prompt的优化与模型内部的特征联系起来，使得Prompt的发现过程更加可解释。此外，该方法还引入了流畅梯度上升，保证了生成Prompt的质量。

关键设计：RESGA和SAEGA是两种不同的梯度上升方法，具体细节未知。流畅梯度上升的具体实现方式也未知。损失函数的设计需要考虑如何衡量Prompt与Persona方向的对齐程度，以及如何保证Prompt的流畅性。具体的参数设置可能需要根据不同的模型和Persona进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在控制LLM的谄媚行为方面取得了显著的改进。具体来说，自动发现的Prompt使得LLM的谄媚程度从49.90%提升到79.24%，相比于基线方法有显著提升。该结果验证了该方法在可解释Prompt工程方面的有效性，为LLM行为控制提供了一种新的思路。

🎯 应用场景

该研究成果可应用于多种场景，例如：1) AI安全：通过控制LLM的有害行为，提高AI系统的安全性。2) 个性化AI助手：根据用户需求，定制AI助手的行为模式。3) 教育领域：引导LLM生成更符合教育目标的文本内容。未来，该方法有望成为LLM行为控制的重要工具，促进AI技术在各个领域的应用。

📄 摘要（原文）

Controlling emergent behavioral personas (e.g., sycophancy, hallucination) in Large Language Models (LLMs) is critical for AI safety, yet remains a persistent challenge. Existing solutions face a dilemma: manual prompt engineering is intuitive but unscalable and imprecise, while automatic optimization methods are effective but operate as "black boxes" with no interpretable connection to model internals. We propose a novel framework that adapts gradient ascent to LLMs, enabling targeted prompt discovery. In specific, we propose two methods, RESGA and SAEGA, that both optimize randomly initialized prompts to achieve better aligned representation with an identified persona direction. We introduce fluent gradient ascent to control the fluency of discovered persona steering prompts. We demonstrate RESGA and SAEGA's effectiveness across Llama 3.1, Qwen 2.5, and Gemma 3 for steering three different personas,sycophancy, hallucination, and myopic reward. Crucially, on sycophancy, our automatically discovered prompts achieve significant improvement (49.90% compared with 79.24%). By grounding prompt discovery in mechanistically meaningful features, our method offers a new paradigm for controllable and interpretable behavior modification.