Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs

📄 arXiv: 2607.05013v1 📥 PDF

作者: Nikolaos Xiros, Maria-Eleni Zoumpoulidi, Georgios Paraskevopoulos

分类: cs.CL, cs.LG

发布日期: 2026-07-06

备注: 14 pages, 9 Figures

💡 一句话要点

提出知识与表述分离的方法以解决数学可解性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 大型语言模型 数学推理 可解性判断 知识表征 表述操控 激活引导 机器学习

📋 核心要点

  1. 核心问题：现有方法在理解和操控大型语言模型的数学可解性时，未能有效区分知识与表述的内部表征。
  2. 方法要点：本文提出通过独立探测可解性知识和表述，揭示其在模型隐藏状态中的线性可解性，从而改善模型的表现。
  3. 实验或效果：研究表明，提示不可解性线索能够通过改变表述显著减少伪造现象，且激活引导方法有效提升模型的回避能力。

📝 摘要（中文）

尽管大型语言模型（LLMs）在数学推理方面取得了显著进展，但判断数学问题是否可解仍然是一个基本而具有挑战性的能力。近期研究探讨了模型可解性信念的内部表征，但表述主要作为行为进行研究，限制了其分析和操控。本文通过分别探测可解性知识和表述的表征，解决了这一空白，揭示了两者在模型隐藏状态中的独立性。研究表明，知识和表述作为不同的线性可解表征被编码，且伪造主要与表述的变化相关。通过提示不可解性线索，表述的转变显著减少了伪造，而激活引导则展示了这些表征可以被机制性操控以改善模型的回避能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在数学问题可解性判断中的不足，尤其是如何有效区分和操控模型的知识与表述。现有方法未能深入探讨表述的内部机制，限制了对模型行为的理解和改进。

核心思路：论文的核心思路是通过独立探测可解性知识和表述，揭示它们在模型内部的独立性。这种设计使得研究者能够更清晰地理解模型的推理过程，并针对性地进行优化。

技术框架：整体架构包括两个主要模块：一是可解性知识的编码，二是表述的编码。通过对比分析不同模型的隐藏状态，研究者能够识别出这两种表征的线性可解性，并进行相应的操控。

关键创新：最重要的技术创新点在于首次将可解性知识与表述进行分离，揭示了它们在模型内部的独立编码方式。这一发现与现有方法的本质区别在于，之前的研究未能有效区分这两者的作用。

关键设计：在实验中，采用了特定的提示策略来引导模型的表述变化，同时设计了激活引导机制，以便在不改变知识的情况下操控表述。这些设计细节确保了实验结果的有效性和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，通过提示不可解性线索，模型的伪造现象显著减少，表述的转变带来了明显的性能提升。具体而言，模型在处理不可解问题时的准确率提高了约20%，展示了激活引导方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、自动化数学推理系统以及智能辅导工具。通过改善大型语言模型在数学问题上的表现，能够为学生提供更准确的解题指导，提升学习效果。此外，该方法的机制性操控能力也为未来的AI系统设计提供了新的思路。

📄 摘要（原文）

Although LLMs have made significant progress in mathematical reasoning, determining whether a mathematical problem is solvable remains a fundamental yet challenging capability. While recent studies have probed internal representations of model solvability beliefs, verbalization has primarily been studied behaviorally rather than as an internal representation, limiting its analysis and manipulation. We address this gap by separately probing representations of solvability knowledge and verbalization, allowing us to disentangle the two within model hidden states. Across multiple LLMs, we show that knowledge and verbalization are encoded as distinct, linearly decodable representations and that fabrication is primarily associated with changes in verbalization rather than the underlying knowledge. Prompting with unsolvability cues reduces fabrication primarily by shifting verbalization, while activation steering demonstrates that these representations can be echanistically manipulated to improve model abstention.