Do Latent Channels Actually Communicate? A Causal Audit of Latent Multi-Agent LLM

📄 arXiv: 2607.26773v1 📥 PDF

作者: Huixiang Zhang, Mahzabeen Emu

分类: cs.AI

发布日期: 2026-07-29

💡 一句话要点

提出因果审计方法以评估潜在多智能体LLM的通信效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在通信 因果审计 多智能体系统 大型语言模型 性能评估 信息传递 任务优化

📋 核心要点

  1. 现有方法无法准确评估潜在通信在多智能体系统中的实际效果，导致对信息传递机制的理解不足。
  2. 本文提出了一种因果审计方法，通过控制消息替换来分析发送者与接收者之间的潜在通信效果。
  3. 实验结果显示，Qwen3-4B和Qwen3-8B在不同数据集上的表现差异，揭示了示例特定内容与其他示例消息的独立价值。

📝 摘要（中文）

在基于大型语言模型的多智能体系统中，潜在通信传递的是连续的内部表示而非文本。然而，较大的表示能力并不意味着接收者使用了与任务相关的信息。仅凭最终任务性能无法揭示观察到的效果是否依赖于消息的存在、为评估示例生成的内容或由其他代理提供的信息。本文引入了一种因果审计方法，通过在发送者生成的表示进入接收者的边界处进行控制消息替换，评估潜在通信的效果。我们在GSM8K、ARC-C和MATH-500数据集上应用了该审计，结果表明，聚合准确性无法识别潜在消息如何影响接收者，推动了控制消息比较作为潜在通信的标准评估。

🔬 方法详解

问题定义：本文旨在解决现有多智能体系统中潜在通信效果评估不准确的问题。现有方法无法区分消息存在、内容生成和其他代理信息对接收者的影响。

核心思路：我们提出的因果审计方法通过控制消息替换，系统性地分析潜在通信的影响，确保评估的准确性和可重复性。

技术框架：该方法包括四种消息设置，支持五项测量，涵盖发送者信息编码、接收者对消息存在和身份的敏感性、示例特定内容的任务价值以及其他代理提供的附加价值。

关键创新：最重要的创新在于通过控制消息替换的方式，明确区分了不同类型消息对接收者的影响，推动了潜在通信评估标准的建立。

关键设计：在实验中，我们设置了不同的消息替换策略，使用了Qwen3-4B和Qwen3-8B模型，针对GSM8K、ARC-C和MATH-500数据集进行了详细的性能分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在GSM8K数据集上，Qwen3-4B的整体性能下降了1.00个百分点，其中-6.17点来自其他示例消息，而+5.17点则归因于示例特定内容。在MATH-500上，Qwen3-4B的增益为15.00点，其中8.33点来自其他示例消息，6.67点来自示例特定内容，显示出不同消息类型对性能的显著影响。

🎯 应用场景

该研究的潜在应用领域包括多智能体系统的优化、智能代理之间的有效通信以及大型语言模型在复杂任务中的应用。通过提高对潜在通信机制的理解，可以推动更高效的智能系统设计，提升任务执行的准确性和效率。

📄 摘要（原文）

Latent communication in large language model (LLM)-based multi-agent systems (MAS) transmits continuous internal representations instead of text, but greater representational capacity does not establish that the receiver uses task-relevant information. End-task performance alone also cannot reveal whether an observed effect depends on message presence, content generated for the evaluated example, or information supplied by a separate agent. We introduce a causal audit that applies controlled message replacements at the boundary where the sender-produced representation enters the receiver. Four message settings support five measurements of encoded sender information, receiver sensitivity to message presence and identity, the task value of example-specific content, and the additional value supplied by a separate agent. We apply the audit to latent relay with Qwen3-4B and Qwen3-8B on GSM8K, ARC-C, and MATH-500. On GSM8K, the Qwen3-4B overall performance effect of -1.00 percentage point decomposes into a -6.17-point effect retained by an other-example message and a +5.17-point effect attributable to example-specific content; both component directions reverse at 8B. On MATH-500, the Qwen3-4B gain of 15.00 points comprises 8.33 points retained by an other-example message and 6.67 points attributable to example-specific content, while the 8B gain is dominated by the former component. Self-substitution comparisons further show that example-specific content and other-agent value are distinct. These results show that aggregate accuracy does not identify how a latent message affects the receiver and motivate controlled message comparisons as a standard evaluation for latent communication.