Evolving Explanations: Complexity-Adaptive Refinement of Faithful Explanations for Symbolic Regression
作者: Elisabeth Mayrhuber, Ting Hu, Stephan Winkler
分类: cs.LG
发布日期: 2026-11-02
💡 一句话要点
提出复杂性自适应框架以改进符号回归的可信解释
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可信解释 符号回归 复杂性自适应 自然语言处理 机器学习模型
📋 核心要点
- 现有方法生成的解释往往缺乏对基础模型的忠实性，导致可信度差距。
- 提出的复杂性自适应框架通过迭代生成和验证解释，确保最终结果与目标表达式一致。
- 在不同模型复杂度下的实验中，整体通过率达到84.0%，大多数解释在低复杂度下收敛。
📝 摘要（中文）
大型语言模型（LLMs）为机器学习模型生成的自然语言解释往往流畅，但不一定忠实于基础模型。本文将这种不匹配形式化为可信度差距，并提出了一种复杂性自适应的符号回归解释改进框架，该框架迭代生成和验证解释，直到与目标表达式实现数值一致。该方法采用两阶段流程：解释器LLM生成逐步详细的文本描述，而独立的验证器LLM提取符号表达式并与原模型进行比较。实验结果表明，该方法在真实和合成数据集上经过250次运行，整体通过率达到84.0%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型生成的解释与实际模型之间的可信度差距。现有方法在生成自然语言解释时，往往未能准确反映模型的真实行为，导致用户对模型的理解产生误导。
核心思路：提出一种复杂性自适应的解释改进框架，通过迭代过程生成和验证解释，确保解释的可信性与目标表达式的一致性。这种设计旨在通过逐步细化解释，减少不必要的复杂性。
技术框架：该方法分为两个主要阶段：第一阶段，使用解释器LLM生成逐步详细的文本描述；第二阶段，使用独立的验证器LLM提取符号表达式并与原模型进行比较。整个过程被视为在解释空间中的离散搜索，复杂性在满足可信度约束的前提下被最小化。
关键创新：最重要的技术创新在于通过符号验证显式关闭解释循环，从而实现高可信度的解释。这一方法与现有的单一生成或验证策略有本质区别，提供了更为系统的解决方案。
关键设计：在参数设置上，框架通过调整解释器和验证器的复杂性级别，确保生成的解释在必要的复杂度下保持高可信度。损失函数设计考虑了生成解释与目标表达式之间的数值一致性，确保优化过程的有效性。网络结构方面，采用了适应性调整机制，以便在不同复杂度的任务中灵活应对。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在真实和合成数据集上的整体通过率达到84.0%。大多数解释在低复杂度下收敛，只有少数情况下需要详细描述。这表明，通过符号验证可以有效地获得高可信度的解释，显著提升了解释的质量和可靠性。
🎯 应用场景
该研究的潜在应用领域包括机器学习模型的可解释性提升、符号回归问题的解决以及自然语言处理中的解释生成。通过提供高可信度的解释，能够增强用户对模型的信任，促进其在医疗、金融等关键领域的应用。未来，该框架有望推动更多领域的可解释AI研究。
📄 摘要（原文）
Natural-language explanations generated by large language models (LLMs) for machine learning models often seem fluent but are not necessarily faithful to the underlying model. We formalize this mismatch as a faithfulness gap and propose a complexity-adaptive refinement framework for symbolic regression that iteratively generates and validates explanations until numerical agreement with the target expression is achieved. The approach follows a two-stage pipeline: an explainer LLM produces textual descriptions at increasing levels of detail, while an independent validator LLM extracts a symbolic expression that is compared against the original model. This process is framed as a discrete search over explanation space, where complexity is minimized subject to a faithfulness constraint. We evaluate the method on real-world and synthetic datasets, with a total of 250 runs across varying model complexities. The explanation refinement loop achieves an overall pass rate of 84.0%, with most explanations converging at low complexity levels and only a small fraction requiring detailed descriptions. Our results demonstrate that faithful explanations can be obtained with minimal necessary complexity by explicitly closing the explanation loop through symbolic validation.