Improving the Intrinsic Interpretability of Differentiable Decision Trees through Euclidean Feature-Concentration Regularisation

📄 arXiv: 2610.39596v1 📥 PDF

作者: Qiqi Yang

分类: cs.LG

发布日期: 2026-10-29

备注: 17 pages, 3 figures, 5 tables. Based on the author's MSc dissertation, University of Birmingham

💡 一句话要点

提出欧几里得集中可微决策树以提升特征解释性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可微决策树 特征解释性 正则化 机器学习 模型可解释性 特征选择 深度学习

📋 核心要点

  1. 现有的可微决策树方法在处理特征时，密集的斜切分导致特征作用不明确，影响模型的可解释性。
  2. 本文提出的EU-DDT通过正则化特征权重，利用欧几里得距离来增强少数特征的主导性，同时保持模型的软路由特性。
  3. 实验结果显示，EU-DDT在Wine和Digits数据集上有效减少了特征数量，同时在某些情况下保持或提升了模型的预测准确性。

📝 摘要（中文）

可微决策树（DDTs）支持端到端优化和明确的决策路径，但密集的斜切分可能会模糊单个输入特征的作用。本文提出了欧几里得集中可微决策树（EU-DDT），通过规范化的平方欧几里得距离来正则化每个内部节点的相对绝对特征权重。这种方法鼓励少数特征的主导作用，同时保留概率软路由。在Wine数据集上，EU-DDT将有效特征数量从8.94减少到1.54，而在Digits数据集上则从45.28减少到9.06。测试准确率在Wine上从100.0%降至93.9%，在Digits上从92.3%升至94.6%，显示出集中性与预测性能之间的权衡。

🔬 方法详解

问题定义：本文旨在解决可微决策树中密集斜切分导致的特征作用不明确的问题，现有方法在特征解释性上存在不足。

核心思路：提出欧几里得集中可微决策树（EU-DDT），通过正则化特征权重，鼓励少数特征主导决策，增强模型的可解释性。

技术框架：EU-DDT的整体架构包括特征权重的正则化模块和决策路径的优化模块，确保特征选择的集中性与决策的有效性。

关键创新：最重要的创新在于通过欧几里得距离正则化特征权重，使得模型在保持预测性能的同时，显著提高了特征的集中性。

关键设计：在模型设计中，采用了规范化的平方欧几里得距离作为正则化项，调整了损失函数以平衡特征集中性与预测准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EU-DDT在Wine数据集上有效特征数量从8.94降至1.54，测试准确率从100.0%降至93.9%；在Digits数据集上有效特征数量从45.28降至9.06，测试准确率从92.3%升至94.6%。这些结果展示了集中性与预测性能之间的有效权衡。

🎯 应用场景

该研究的潜在应用领域包括金融风控、医疗诊断和自动驾驶等需要高可解释性的机器学习模型。通过提升特征的集中性，EU-DDT能够帮助决策者更好地理解模型的决策依据，从而增强信任度和透明度。

📄 摘要（原文）

Differentiable decision trees (DDTs) support end-to-end optimisation and explicit decision paths, but dense oblique splits can obscure the role of individual input features. We propose the Euclidean-Concentrated Differentiable Decision Tree (EU-DDT), which regularises the relative absolute feature weights at each internal node using their normalised squared Euclidean distance from the uniform distribution. This encourages dominance by a small number of features while retaining probabilistic soft routing. Across five matched random seeds, EU-DDT reduces the mean effective number of features from 8.94 to 1.54 on Wine and from 45.28 to 9.06 on Digits. Mean test accuracy changes from 100.0% to 93.9% on Wine and from 92.3% to 94.6% on Digits, illustrating the dataset-dependent trade-off between concentration and predictive performance. We also use EU-DDT to parameterise a PPO actor with an MLP critic. Two random-seed runs per environment show a consistent qualitative increase in concentration while preserving effective task performance. In representative CartPole-v1 and MiniPacman runs, EU-DDT reaches 100% final evaluation success, while mean node concentration increases from 0.1272 to 0.7179 and from 0.0437 to 0.7237, respectively. These results support EU regularisation as a mechanism for reducing node-level feature complexity; the reinforcement-learning evidence remains preliminary because only two seeds are evaluated.