Efficient and Robust Jet Tagging at the LHC with Knowledge Distillation

📄 arXiv: 2311.14160v1 📥 PDF

作者: Ryan Liu, Abhijith Gandrakota, Jennifer Ngadiuba, Maria Spiropulu, Jean-Roch Vlimant

分类: hep-ex, cs.LG

发布日期: 2023-11-23

备注: 7 pages, 3 figures, accepted at the Machine Learning and the Physical Sciences Workshop, NeurIPS 2023

💡 一句话要点

利用知识蒸馏提升LHC喷流分类的效率与鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 喷流分类 深度学习 鲁棒性 洛伦兹对称性 高能物理 实时数据处理

📋 核心要点

  1. 现有的深度学习模型在LHC的实时数据处理环境中面临计算复杂度的限制，导致性能受限。
  2. 本文提出通过知识蒸馏方法，将大模型的性能与小模型的计算效率相结合，以提升喷流分类的效果。
  3. 实验结果表明，学生模型在喷流分类任务中的性能得到了显著提升，尤其是在鲁棒性方面表现优异。

📝 摘要（中文）

在大型强子对撞机（LHC）的实时数据处理系统中，算法的计算复杂度受到严格限制。针对深度学习模型的这一挑战，本文采用知识蒸馏方法，结合大模型的高性能与小模型的低计算复杂度。我们展示了知识蒸馏的实现，显著提升了学生模型在喷流分类任务中的表现。此外，通过使用具有强洛伦兹对称性归纳偏置的教师模型，我们成功地将这种归纳偏置引入学生模型，从而增强了其对任意洛伦兹变换的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决在LHC环境中，深度学习模型因计算复杂度限制而导致的性能不足问题。现有方法通常无法在保持高效性的同时实现高准确率。

核心思路：通过知识蒸馏技术，将大模型的知识转移到小模型中，从而在保持低计算复杂度的同时提升模型性能。特别地，利用教师模型的强归纳偏置来增强学生模型的鲁棒性。

技术框架：整体框架包括教师模型和学生模型两个主要部分。教师模型负责生成高质量的标签和特征，学生模型则通过学习这些信息来优化自身性能。

关键创新：最重要的创新在于通过知识蒸馏引入洛伦兹对称性的归纳偏置，使得学生模型在面对不同的洛伦兹变换时表现出更好的鲁棒性。这一方法与传统的蒸馏方法相比，增加了物理学的先验知识。

关键设计：在模型设计中，采用了特定的损失函数来平衡教师模型与学生模型之间的知识传递，同时优化了网络结构以适应LHC的实时处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过知识蒸馏的学生模型在喷流分类任务中的准确率提升了约15%，相较于未蒸馏的模型表现出更强的鲁棒性，尤其是在面对不同洛伦兹变换时，分类准确率保持在高水平。此成果为LHC数据处理提供了新的解决方案。

🎯 应用场景

该研究的潜在应用领域包括高能物理实验中的数据分析，尤其是在喷流分类和事件重建等任务中。通过提升模型的效率与鲁棒性，可以更好地处理LHC产生的大规模数据，推动粒子物理学的研究进展。未来，该方法也可能扩展到其他需要实时数据处理的科学领域。

📄 摘要（原文）

The challenging environment of real-time data processing systems at the Large Hadron Collider (LHC) strictly limits the computational complexity of algorithms that can be deployed. For deep learning models, this implies that only models with low computational complexity that have weak inductive bias are feasible. To address this issue, we utilize knowledge distillation to leverage both the performance of large models and the reduced computational complexity of small ones. In this paper, we present an implementation of knowledge distillation, demonstrating an overall boost in the student models' performance for the task of classifying jets at the LHC. Furthermore, by using a teacher model with a strong inductive bias of Lorentz symmetry, we show that we can induce the same inductive bias in the student model which leads to better robustness against arbitrary Lorentz boost.