Parallel Manifold Steering: Efficient Adaptation of Large Associative Memories via Residual Energy Shaping

📄 arXiv: 2606.24396v1 📥 PDF

作者: Kanishk Awadhiya

分类: cs.LG

发布日期: 2026-06-23

备注: Accepted at ICLR Workshop 2026

💡 一句话要点

提出H-Res以解决大规模变换器模型适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 变换器模型 关联记忆 适应性 能量景观 残差引导 任务特定 神经崩溃 高效检索

📋 核心要点

  1. 现有方法在适应大型变换器模型时面临灾难性干扰和关联能力下降的挑战。
  2. 本文提出H-Res机制，通过调节能量景观而不改变全局平衡，实现任务适应性。
  3. 实验证明，H-Res在关联检索任务上比全局权重修改提高26%，并消除了提示方法的计算开销。

📝 摘要（中文）

大型变换器模型作为密集关联记忆（DAMs），通过自注意力机制驱动高维吸引子动态来检索知识。然而，将这些冻结的记忆系统适应新任务面临“可塑性-稳定性”困境。现有方法要么通过直接修改突触权重导致灾难性干扰，要么通过静态提示令牌降低关联能力。本文提出H-Res（层次残差引导），在不改变全局平衡或扩展序列长度的情况下，调节变换器的有效能量景观。H-Res将适应性视为激活流形上的控制问题，学习状态依赖的向量场，将令牌轨迹引导至特定任务的吸引盆。我们证明H-Res保持基础模型的注意力熵，并促进神经崩溃。实验证明，流形引导在关联检索任务上比全局权重修改提高26%，并消除了基于提示方法的计算开销，有效扩展到结构化领域。

🔬 方法详解

问题定义：本文解决的是大型变换器模型在适应新任务时的可塑性-稳定性困境。现有方法如LoRA和VPT要么导致灾难性干扰，要么降低模型的关联能力。

核心思路：H-Res通过调节变换器的能量景观，避免直接修改权重，从而实现更高效的任务适应性。该方法将适应性视为在激活流形上的控制问题，学习状态依赖的向量场以引导令牌轨迹。

技术框架：H-Res的整体架构包括三个主要模块：1) 激活流形的建模；2) 状态依赖向量场的学习；3) 任务特定吸引盆的引导。通过这些模块，H-Res能够在不改变全局平衡的情况下实现有效适应。

关键创新：H-Res的主要创新在于其通过残差引导调节能量景观的能力，保持注意力熵并促进神经崩溃。这与现有方法的直接权重修改形成鲜明对比。

关键设计：H-Res的设计包括状态依赖的向量场学习，确保在适应过程中不改变全局平衡。损失函数的设计旨在保持注意力熵，确保模型在新任务上的有效性。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，H-Res在关联检索任务上比全局权重修改提高了26%的性能，并消除了基于提示方法的计算开销，展现出良好的扩展性，尤其在结构化领域中表现突出。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、图像识别和其他需要快速适应新任务的人工智能系统。H-Res的高效适应性可以显著提高大型模型在多样化任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Transformer models function as Dense Associative Memories (DAMs), retrieving knowledge via high-dimensional attractor dynamics driven by the self-attention mechanism \citep{ramsauer2020hopfield, wu2024attention}. However, adapting these frozen memory systems to new tasks presents a fundamental ``Plasticity-Stability'' dilemma. Current methods either risk catastrophic interference by modifying synaptic weights directly (e.g., LoRA) \citep{hu2021lora} or degrade associative capacity by clogging the retrieval buffer with static prompt tokens (e.g., VPT) \citep{jia2022vpt}. In this work, we propose \textbf{H-Res} (Hierarchical Residual Steering), a mechanism that modulates the effective energy landscape of the Transformer without altering its global equilibrium or expanding its sequence length. By formulating adaptation as a control problem on the activation manifold \citep{chen2018neuralode}, H-Res learns a state-dependent vector field that steers token trajectories into task-specific basins of attraction. We formally prove that H-Res preserves the attention entropy of the foundation model and facilitates Neural Collapse \citep{papyan2020prevalence}. Empirically, Manifold Steering outperforms global weight modification by 26\% on associative retrieval tasks and eliminates the computational overhead of prompt-based methods, scaling effectively to structured domains \citep{zha2023vtab}.