Differentiable Entropy Regularization: A Complexity-Aware Approach for Neural Optimization

📄 arXiv: 2509.03733v2 📥 PDF

作者: Ibne Farabi Shihab, Sanjeda Akter, Anuj Sharma

分类: cs.LG, cs.AI

发布日期: 2025-09-03 (更新: 2025-11-19)

💡 一句话要点

提出可微熵正则化方法，通过降低表征复杂度提升神经网络效率与鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可微熵正则化 表征复杂度 神经网络优化 模型压缩 鲁棒性 计算几何 稀疏性 Transformer

📋 核心要点

  1. 现有神经网络优化方法通常侧重于架构修改或输出分布，忽略了模型内部表征的复杂度，导致效率提升受限。
  2. 本文提出可微熵正则化方法，直接最小化表征复杂度，通过控制算法运行时间，实现效率和鲁棒性的联合优化。
  3. 实验表明，该方法在计算几何、视觉Transformer和大型语言模型上均能有效提升效率，同时增强模型的鲁棒性。

📝 摘要（中文）

本文提出了一种可微的范围分割熵近似方法，这是一种来自计算几何的复杂度度量，可以直接约束算法的运行时间。与架构修改不同，该方法是一种互补的正则化器，与现有优化方法结合使用时，可以提供正交的效率提升。在计算几何中，我们建立了理论保证，在凸包和三角剖分上实现了4-5倍的加速，误差小于0.2%。在ImageNet-1K上，使用ViT-Base，熵正则化在80%稀疏度下实现了80.1%的top-1准确率（1.60倍的独立加速），与FlashAttention结合使用时，实现了2.07倍的加速，而单独使用FlashAttention时为1.63倍。在大型语言模型（LLaMA-2 7B、Mistral-7B、Phi-2）上，我们在70-75%的稀疏度下实现了1.48-1.60倍的推理加速，质量下降极小（ROUGE-L下降0.3-0.4点，困惑度增加0.9）。与针对输出分布的先前正则化方法不同，我们直接最小化表征复杂度，通过语义结构化的稀疏模式，既提高了效率，又提高了鲁棒性（IoU 0.73 vs 0.41，CIFAR-100-C mCE 48.7 vs 55.4）。该方法在几何和视觉Transformer上的优势最为明显，在LLM上也有适度但可衡量的收益，表明复杂度正则化为联合效率-鲁棒性优化提供了一条有原则的途径。

🔬 方法详解

问题定义：现有神经网络优化方法，如剪枝和量化，通常关注模型参数的稀疏性和计算效率，但忽略了模型内部表征的复杂度。这种忽略可能导致模型在效率提升的同时，鲁棒性下降，并且难以找到效率和鲁棒性之间的平衡点。现有正则化方法通常针对输出分布，间接影响表征复杂度，效果有限。

核心思路：本文的核心思路是直接对模型内部表征的复杂度进行正则化，通过最小化表征的熵来降低模型的复杂度。作者认为，降低表征复杂度可以提高模型的泛化能力和鲁棒性，同时减少计算量，从而实现效率和鲁棒性的双重提升。这种方法的核心在于找到一种可微的熵度量，以便能够通过梯度下降进行优化。

技术框架：该方法主要包含以下几个阶段：1）选择需要正则化的模型层；2）计算该层输出表征的范围分割熵（Range-Partition Entropy，RPE）；3）使用可微近似方法计算RPE的梯度；4）将RPE作为正则化项添加到损失函数中；5）使用梯度下降优化模型参数。整体流程是在标准神经网络训练流程中加入一个正则化项，该正则化项直接约束模型内部表征的复杂度。

关键创新：最重要的技术创新点在于提出了可微的范围分割熵（RPE）近似方法。传统的RPE计算复杂度高，且不可微，无法直接用于神经网络的优化。作者通过引入可微的近似计算方法，使得RPE可以作为正则化项添加到损失函数中，并通过梯度下降进行优化。与现有方法的本质区别在于，该方法直接针对表征复杂度进行正则化，而不是间接通过输出分布进行约束。

关键设计：关键设计包括：1）范围分割熵的计算方式，作者采用了一种基于计算几何的范围分割方法来度量表征的复杂度；2）可微近似方法的选择，作者选择了一种能够有效近似RPE且易于计算梯度的方法；3）正则化系数的选择，需要根据具体任务和模型进行调整，以平衡效率和鲁棒性。

📊 实验亮点

实验结果表明，该方法在多个任务上均取得了显著的性能提升。在ImageNet-1K上，使用ViT-Base，熵正则化在80%稀疏度下实现了80.1%的top-1准确率，相比基线方法有显著提升。在大型语言模型上，该方法在保持模型性能基本不变的情况下，实现了1.48-1.60倍的推理加速。此外，该方法还提高了模型的鲁棒性，在CIFAR-100-C上的mCE指标降低了6.7个百分点。

🎯 应用场景

该研究成果可广泛应用于各种需要高效和鲁棒的神经网络模型中，例如自动驾驶、智能监控、医疗诊断等领域。通过降低模型复杂度，可以减少计算资源消耗，提高推理速度，并增强模型在噪声环境下的鲁棒性。该方法尤其适用于资源受限的边缘设备，可以帮助部署更高效、更可靠的AI应用。

📄 摘要（原文）

We introduce the first differentiable approximation of range-partition entropy, a complexity measure from computational geometry that directly bounds algorithmic runtime. Unlike architectural modifications, our method is a complementary regularizer that provides orthogonal efficiency gains when combined with existing optimizations. We establish theoretical guarantees in computational geometry, achieving 4--5$\times$ provable speedups on convex hull and triangulation with $<$0.2\% error. On ImageNet-1K with ViT-Base, entropy regularization achieves 80.1\% top-1 accuracy at 80\% sparsity (1.60$\times$ standalone speedup), and when combined with FlashAttention yields 2.07$\times$ speedup versus 1.63$\times$ for FlashAttention alone. On large language models (LLaMA-2 7B, Mistral-7B, Phi-2), we achieve 1.48--1.60$\times$ inference speedups at 70--75\% sparsity with minimal quality degradation (ROUGE-L drops of 0.3--0.4 points, perplexity increase of 0.9). Unlike prior regularization methods that target output distributions, we directly minimize representation complexity, yielding both efficiency gains and improved robustness through semantically structured sparsity patterns (IoU 0.73 vs 0.41 for magnitude pruning, CIFAR-100-C mCE 48.7 vs 55.4). Benefits are strongest for geometry and vision transformers, with more modest but measurable gains on LLMs, demonstrating that complexity regularization offers a principled pathway to joint efficiency-robustness optimization.