Task Vectors Can Be Linearly Decomposed into Interpretable and Controllable Components

📄 arXiv: 2610.41743v1 📥 PDF

作者: Yukiya Horiba, Hakaze Cho, Takahiro Yakoh

分类: cs.LG, cs.CL

发布日期: 2026-10-30

💡 一句话要点

提出任务向量分解方法以增强语言模型的可控性与可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务向量 可解释性 可控性 贝叶斯优化 自然语言处理 机器学习 功能分解

📋 核心要点

  1. 现有的任务向量方法通常将其视为原子化的方向，缺乏对其内部功能结构的深入理解。
  2. 本文提出了一种基于任务识别和任务学习的分解方法，将任务向量分为功能组件，以增强可解释性和可控性。
  3. 实验结果显示，基于TR/TL的优化方法在多个模型和任务上优于原始任务向量，尤其是指令驱动的任务向量表现更佳。

📝 摘要（中文）

任务向量（TVs）为引导大型语言模型提供了一种紧凑的方法，但通常被视为从隐藏状态中提取的原子化方向，其内部功能结构尚不清晰。本文基于先前的研究，将上下文学习分解为任务识别（TR）和任务学习（TL），探讨单个TV是否也可以分解为功能上有意义的组件。我们从候选标签的去嵌入中提出TR/TL分解，将每个TV分为TR、TL和残差组件，并使用贝叶斯优化优化TR和TL系数以实现更有效的干预。实验结果表明，TR/TL优化能够识别出优于原始TV的干预方向，尤其是在基于指令的TV中，优化的效果更为可靠。分解后的组件在逻辑层面上产生的干预效果与其预期功能角色一致，表明TV可以被分解为支持解释和控制的功能组件。

🔬 方法详解

问题定义：本文旨在解决任务向量（TVs）作为引导大型语言模型的工具时，其内部功能结构不清晰的问题。现有方法将TV视为原子化方向，缺乏对其功能成分的深入理解。

核心思路：论文提出将任务向量分解为任务识别（TR）、任务学习（TL）和残差组件，利用贝叶斯优化来优化TR和TL系数，从而实现更有效的干预。这样的设计使得任务向量不仅可以被理解，还能被有效控制。

技术框架：整体流程包括从候选标签的去嵌入中提取任务向量，进行TR/TL分解，然后通过贝叶斯优化调整TR和TL系数，最后评估干预效果。主要模块包括分解模块、优化模块和评估模块。

关键创新：最重要的创新在于提出了TR/TL分解方法，使得任务向量可以被视为由多个功能组件构成，而不是单一的引导方向。这一方法与传统的原子化视角有本质区别。

关键设计：在参数设置上，采用贝叶斯优化算法来调整TR和TL的系数，损失函数设计为能够反映干预效果的逻辑损失，网络结构则基于现有的语言模型架构进行调整，以适应分解后的任务向量。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，基于TR/TL的优化方法在多个模型和任务上均表现出色，特别是在指令驱动的任务向量中，优化后的干预方向在性能上超越了原始任务向量，提升幅度显著，验证了分解方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的任务引导、智能助手的交互设计以及教育领域的个性化学习。通过增强任务向量的可解释性和可控性，研究成果能够帮助开发更智能的系统，提升用户体验和任务执行效率。

📄 摘要（原文）

Task Vectors (TVs) provide a compact way to steer large language models, but they are typically treated as atomized directions merely extracted from hidden states, leaving their internal functional structure poorly understood. Motivated by prior work that decomposes in-context learning into Task Recognition (TR) and Task Learning (TL), we ask whether a single TV can likewise be decomposed into functionally meaningful components. We formulate a TR/TL-based decomposition from candidate-label unembeddings, separating each TV into TR, TL, and residual components, and try to optimize the TR and TL coefficients using Bayesian optimization for more effective intervention. We evaluate this formulation across multiple model families, classification tasks, and both instruction- and demonstration-based TVs. Across these settings, TR/TL-based optimization identifies intervention directions that outperform the original TVs. Although optimization over random directions can also improve performance, TR/TL-based search yields more reliable gains, particularly for instruction-based TVs. Moreover, isolated interventions on the decomposed components produce distinct logit-level effects that are consistent with their intended functional roles. Together, these results suggest that TVs are not monolithic steering directions, but can be decomposed into functionally meaningful components that support both interpretation and control.