When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs
作者: Boris Marinov, Angira Sharma, Christian Schroeder de Witt, Philip Torr, Anisoara Calinescu, Jialin Yu
分类: cs.LG
发布日期: 2026-06-12
备注: Trustworthy AI for Good (AI4Good) Workshop @ ICML 2026
💡 一句话要点
提出因果几何分析以理解多语言大模型的表示交互
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言模型 因果几何 可解释性 语言表示 跨语言效果
📋 核心要点
- 现有多语言大模型的内部表示难以解读，导致其在多语言环境中的行为不可靠。
- 本文通过因果几何分析，研究多语言大模型中语言表示的独立性和依赖性，提出了一种新的分析框架。
- 实验结果表明，语言概念在特定条件下可以实现稳定的线性表示，并揭示了语言之间的结构性相似性。
📝 摘要（中文）
大型语言模型展现出强大的多语言能力，但其内部表示难以解读。理解这些交互对于确保多语言系统的可靠性至关重要。本文应用因果几何分析于多语言大模型，研究28个双语对比，分析语言何时表现为近似独立因素，何时存在结构性依赖。研究发现，语言概念在协方差调整的内积下具有稳定的线性表示，且同一家族的语言展现出简单形几何结构，暗示层次组织。这些结果扩展了因果几何可解释性至多语言环境，并为理解多语言大模型表示中的可分性和相似性提供了新视角。
🔬 方法详解
问题定义：本文旨在解决多语言大模型内部表示的可解释性问题，现有方法未能充分探讨语言身份的相关性和层次性对表示的影响。
核心思路：通过因果几何分析，研究多语言模型中语言表示的独立性与依赖性，探索语言概念的线性表示及其结构性偏差。
技术框架：整体框架包括数据收集、因果几何分析和模型评估三个主要阶段，分析28个双语对比以验证假设。
关键创新：提出了协方差调整的内积方法，使得语言概念的线性表示得以稳定，并揭示了语言之间的层次结构。
关键设计：在分析过程中，采用了特定的参数设置和损失函数，以确保模型能够有效捕捉语言之间的相似性和差异性。通过对比不同语言家族的表现，进一步验证了模型的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在协方差调整的内积下，语言概念的线性表示具有较高的可分性，且同一家族语言的几何结构呈现简单形状。这一发现为多语言模型的可解释性提供了新的视角，推动了相关领域的研究进展。
🎯 应用场景
该研究的潜在应用领域包括多语言自然语言处理、跨语言信息检索和多语言对话系统。通过提高模型的可解释性，可以增强用户对多语言系统的信任，促进其在实际应用中的广泛部署。
📄 摘要（原文）
Large language models exhibit strong multilingual capabilities, however, their internal representations are difficult to interpret. Understanding these interactions is important for ensuring reliable behavior in multilingual systems. Recent work has shown that causal-geometric structure can explain how certain concepts are encoded as approximately linear and separable directions, but whether this framework extends to multilingual models, where language identity is correlated and hierarchical, is underexplored. We apply causal-geometric analysis to multilingual LLMs, studying 28 bilingual contrasts across three models, allowing us to analyze when languages behave as approximately independent factors and when structured dependencies persist. We find evidence that language concepts admit stable linear representations that are largely separable under a covariance-adjusted (causal) inner product, with structured deviations reflecting linguistic similarity. Moreover, languages within the same family (such as Germanic or Romance) exhibit a simplex-like geometric structure, suggesting hierarchical organization. These results extend causal-geometric interpretability to multilingual settings and provide insight into how separability and similarity may exist in multilingual LLM representations, motivating interpretability analyses that diagnose when and how structured dependencies between concepts can be anticipated. This has implications for trustworthy deployment, as residual structure between languages may lead to unintended cross-lingual effects when models are monitored or intervened upon.