Beyond the Readout: A Latent Numerical Frame Shared Across Modality and Operation
作者: Oriol Juan Sabater, Alex Ferrando de las Morenas, Pau Rodríguez, Xavier Suau
分类: cs.AI
发布日期: 2026-10-27
💡 一句话要点
提出跨模态共享潜在数字框架以解决数字理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 因果干预 数字表示 潜在空间 几何结构 模型分析 抽象概念
📋 核心要点
- 现有的相似性度量方法无法有效区分多模态模型在不同输入下的数字表示是否相同。
- 论文提出通过因果干预的方法，分析模型在不同条件下的潜在空间，以探讨数字表示的共享性。
- 实验结果显示，不同模态和操作下的数字表示在潜在空间中存在共享几何结构，且隐藏方向对数字生成有重要影响。
📝 摘要（中文）
当多模态模型从文本或图像中计算数字时，是否使用相同的内部数字概念？本文通过因果干预的方法探讨了这一问题。研究发现，不同条件下的数字表示并不完全相同，尽管它们在某种几何结构上存在共享。通过对模型的潜在空间进行分析，论文揭示了隐藏方向在数字生成过程中的重要性，表明模型在时间上展开了一个抽象的数字概念。最终，研究表明多模态表示通过关系几何在不同坐标框架中共享意义。
🔬 方法详解
问题定义：本文旨在解决多模态模型在处理数字时是否使用相同内部概念的问题。现有的相似性度量方法如RSA和CKA无法有效区分不同输入下的数字表示，导致对模型内部机制的理解不足。
核心思路：论文通过因果干预的方式，分析模型在不同条件下的潜在空间，探讨数字表示的共享性和隐藏方向的作用。这样的设计能够更深入地理解模型的内部工作机制。
技术框架：研究采用Gemma4-12B模型，分析其残差流中的小子空间。通过对文本和图像的不同操作（加法和减法）进行实验，观察潜在空间的变化。主要模块包括潜在空间的学习、坐标交换和因果效应的评估。
关键创新：最重要的创新在于通过因果干预揭示了不同模态下数字表示的共享几何结构，表明模型在不同条件下的数字表示并不完全相同，但可以通过旋转和缩放映射到同一几何结构。
关键设计：实验中将潜在空间分为可见和不可见方向，发现不可见方向仍然携带数字信息，但对输出数字的影响有限。模型能够在生成多位数字时，提前计算并保留结果，从而在数字共享时有效调整后续数字的生成。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在文本和图像条件下，重用潜在空间的因果效应恢复率仅为53.2%，而通过旋转和缩放映射后恢复率提升至91.4%。此外，隐藏方向的调整在77.6%的情况下能够有效重定向后续数字的生成，展现了模型在数字生成过程中的灵活性和复杂性。
🎯 应用场景
该研究的潜在应用领域包括多模态人工智能系统、智能助手和自动化计算工具。通过理解不同模态下的数字表示，未来可以提升模型在复杂任务中的表现，尤其是在需要跨模态理解和推理的场景中。此研究为多模态学习提供了新的视角，可能推动相关领域的进一步发展。
📄 摘要（原文）
When a multimodal model computes 17+35 from text or 91-39 from a rendered image, it produces the same answer, 52. Does it use one internal concept of number for both, or separate machinery for each path? Similarity metrics such as RSA or CKA cannot settle this question. They give the same score to identical and to rotated directions, and two representations can look alike only because both prepare the same output digits. We therefore use causal interventions. For four conditions (text or image, addition or subtraction), we learn a small subspace of Gemma4-12B-it's residual stream in which swapping coordinates swaps the model's answer. The subspaces answer three questions. First, do the conditions write numbers along the same directions? They do not. Reusing a subspace from text in an image on the same operation recovers only 53.2% of its causal effect. A single rotation and rescaling maps one subspace onto the other and raises recovery to 91.4%, so the conditions share one geometry expressed in different coordinates. Second, does this shared geometry only reflect the digit the model is about to print? To test this, we split each subspace into 9 directions that the output layer reads to choose the next digit and 13 directions that it cannot see. The 13 hidden directions still carry the number, yet changing them barely alters the digit being written. Third, what are these hidden directions for? A model must emit a multi-digit answer one digit at a time, so it can compute the full result early and keep it in reserve. When two numbers share their first digit, swapping the number in the hidden directions leaves the digit being written intact and redirects the next digit in 77.6% of cases. The model thus forms an abstract numerical concept upstream and unfolds it across time: multimodal representations share meaning through relational geometry across distinct coordinate frames.