IDEEA: training-free Input-Dependent stEEring via Activation cluster matching

📄 arXiv: 2609.02089v1 📥 PDF

作者: Zheng Wang, Muchen Li, Renjie Liao, Yan Leng

分类: cs.CL, cs.LG

发布日期: 2026-09-02

备注: Accepted to EMNLP 2026 Findings

💡 一句话要点

提出IDEEA以解决输入依赖的模型引导问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 输入依赖引导 激活聚类 模型对齐 自然语言处理 无训练方法

📋 核心要点

  1. 现有的无训练引导方法大多是输入无关的，无法适应不同输入的激活空间特征。
  2. IDEEA通过聚类激活支持并解决最优匹配问题，实现输入依赖的引导，提升模型对目标概念的对齐能力。
  3. 实验结果显示，IDEEA在TruthfulQA任务中显著提高了真相×信息率，验证了其有效性。

📝 摘要（中文）

引导技术通过在推理时对选定激活施加偏差来对齐大型语言模型（LLMs），提供了一种比权重更新方法（如监督微调或强化学习）更便宜的替代方案。然而，大多数现有的无训练引导方法是输入无关的，限制了其在不同输入上的适用性。为了解决这一问题，本文提出了IDEEA（基于激活簇匹配的输入依赖引导），该框架通过对每个注意力头的正负激活支持进行聚类，并解决最优匹配问题，构建出一组条件方向。在推理时，IDEEA从这些方向中选择与输入激活最匹配的方向进行引导。实验表明，IDEEA在TruthfulQA中的真相×信息率平均提升了9.9%（最高可达23.5%），同时保留了输入的原始表示。

🔬 方法详解

问题定义：现有的无训练引导方法通常是输入无关的，这意味着它们在处理不同输入时无法适应各自的激活空间特征，导致引导效果不佳。

核心思路：IDEEA提出了一种输入依赖的引导框架，通过对激活进行聚类，构建条件方向，以便在推理时选择与输入激活最匹配的方向，从而实现更精确的引导。

技术框架：IDEEA的整体架构包括激活聚类模块和方向选择模块。首先，对每个注意力头的激活进行聚类，然后通过最优匹配算法生成条件方向，最后在推理时选择最佳方向进行引导。

关键创新：IDEEA的核心创新在于其输入依赖性，通过聚类和匹配机制，克服了传统方法的输入无关性，从而实现了更灵活的引导策略。

关键设计：在设计上，IDEEA使用了聚类算法来识别激活的正负支持，并通过优化算法来解决匹配问题，确保生成的方向能够有效反映输入的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IDEEA在TruthfulQA任务中表现出色，平均提升了真相×信息率9.9%，在某些情况下提升幅度达到23.5%。这一结果显著优于最佳的输入无关基线，证明了其有效性和实用性。

🎯 应用场景

IDEEA的研究成果在多个领域具有潜在应用价值，尤其是在自然语言处理和对话系统中。通过提高模型对目标概念的对齐能力，IDEEA能够增强模型的理解和生成能力，推动智能助手、问答系统等应用的发展。

📄 摘要（原文）

Steering aligns large language models (LLMs) by injecting a bias into selected activations at inference time, offering a far cheaper alternative to weight-update methods such as supervised fine-tuning or reinforcement learning. However, most existing training-free steering methods are input-independent: a single direction is fitted once and shared across all inputs. This is fundamentally limiting as different inputs occupy different regions of the activation space and admit different optimal steering directions toward the same target concept, much as the gradient with respect to a fixed loss varies from input to input. We close this gap with IDEEA (Input-Dependent stEEring via Activation cluster matching), a training-free framework for input-dependent steering. IDEEA clusters the positive and negative activation supports per attention head, and solves an optimal-matching problem to construct a set of cluster-conditional directions, all about the target concept. At inference time, it picks from this pool of directions and uses the one that best matches the input's own activation for steering. IDEEA aligns the model toward the target concept while preserving the input's original representation, evidence that activations encoding a concept occupy several distinct sub-regions of the representation space rather than a single one. IDEEA improves the truth $\times$ info rate in TruthfulQA by an average of 9.9% (up to 23.5%) over the best input-independent baseline.