Architecture-Dependent Causal Transfer of Activation States Across Large Language Models

📄 arXiv: 2608.16347v1 📥 PDF

作者: Fernando Cardenas Piepereit

分类: cs.CL, cs.LG

发布日期: 2026-08-17

备注: 13 pages, 3 tables

💡 一句话要点

提出架构依赖的激活状态因果转移方法以优化LLM间通信

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 激活状态转移 因果推断 模型架构 自然语言处理

📋 核心要点

  1. 现有方法在AI系统间的直接通信中存在编码/解码开销和延迟等挑战，影响了效率。
  2. 论文提出通过学习的投影在不同LLM架构间因果性转移内部激活状态，以减少通信成本。
  3. 实验结果显示，激活状态的因果转移在某些模型对之间有效，但整体效果依赖于模型架构。

📝 摘要（中文）

直接的AI系统间通信依赖自然语言作为中介层，这会导致编码/解码开销、令牌成本和延迟。本文探讨是否可以通过学习的投影在不同的大型语言模型（LLM）架构之间因果性地转移内部激活状态。通过对四种不同架构的开放权重模型进行评估，结果表明，训练模型中的表征对齐超出了随机初始化的基线，并且通过基于排名的度量（互相k近邻对齐）捕捉效果最佳。尽管在生成过程中注入投影激活对输出相似性产生了统计显著的因果影响，但这种效果在不同模型间存在架构依赖性，而非普适性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）之间直接通信的效率问题，现有方法依赖自然语言作为中介，导致了编码/解码的开销和延迟。

核心思路：通过学习的投影网络实现不同LLM架构之间的激活状态因果转移，减少对自然语言的依赖，从而提高通信效率。

技术框架：研究使用四种不同架构的开放权重模型（Qwen2-0.5B, Phi-3-mini, Mistral-7B, FLAN-T5-base），评估三个层面的因果转移：表征相似性、跨模型检索和生成过程中的激活注入。

关键创新：提出了一种基于排名的度量（互相k近邻对齐），在处理激活幅度异常值时比传统的中心核对齐（CKA）或Procrustes分析更为稳健。

关键设计：在实验中，学习的投影网络在三个解码器模型对之间的检索准确率达到45-50%，而FLAN-T5模型则表现为随机水平，显示出架构依赖性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，激活状态的因果转移在Qwen2-0.5B与Phi-3-mini模型对之间产生了显著的输出相似性提升（23.3% vs. 0.0%），而在其他模型对中未观察到类似效果，表明该方法的有效性和架构依赖性。

🎯 应用场景

该研究的潜在应用领域包括多种AI系统间的高效通信，尤其是在需要快速响应的场景，如对话系统和实时翻译。通过优化激活状态的转移，可以显著提高系统的响应速度和准确性，未来可能推动更复杂的多模态AI系统的发展。

📄 摘要（原文）

Direct communication between AI systems relies on natural language as an intermediate layer, incurring encoding/decoding overhead, token cost, and latency. We ask whether internal activation states can instead be transferred causally between different large language model (LLM) architectures via a learned projection, evaluated at three levels: representational similarity, cross-model retrieval from projected states, and end-to-end causal transfer via activation injection during generation. Using four architecturally diverse open-weight models (Qwen2-0.5B, Phi-3-mini, Mistral-7B, FLAN-T5-base), we find that representational alignment in trained models exceeds a random-initialization null baseline and is best captured by a rank-based metric (mutual k-nearest-neighbour alignment), more robust to activation-magnitude outliers than centered kernel alignment (CKA) or Procrustes analysis. A learned projection network retrieves the correct target-model representation from a held-out set well above chance for the three causal decoder-only model pairs (45-50% top-1 accuracy vs. 5% chance) but at chance level for the encoder-based FLAN-T5. Injecting projected activations into a target model during generation produces a statistically significant, pre-registered causal effect on retrieval-based output similarity for only one of the three decoder-only pairs (Qwen2-0.5B to Phi-3-mini: 23.3% vs. 0.0% under negative control, p=0.047, FDR-corrected); the two pairs targeting Mistral-7B show no such effect despite comparable representational alignment at the hidden-state level. We interpret these results as evidence for causal transfer of the representational vehicle, not of meaning, and conclude that end-to-end activation-state transfer between LLMs, as currently implemented, is architecture-dependent rather than universal.