Panda Diplomacy: Foundation Model Pre-training across Particle Imaging Detectors for High Energy and Nuclear Physics
作者: Samuel Young, César Jesús-Valls, Kazuhiro Terao
分类: hep-ex, cs.CV
发布日期: 2026-09-01
备注: 24 pages, 11 figures, preprint
💡 一句话要点
提出点云自蒸馏框架以提升粒子成像探测器的预训练效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 粒子物理 核物理 基础模型 自蒸馏 点云处理 多模态学习 粒子识别
📋 核心要点
- 现有粒子和核物理中的基础模型方法往往依赖于特定探测器架构，限制了其跨模态的重用性。
- 本文提出了一种点云自蒸馏框架，能够在不同探测器模态上实现通用的预训练，提升模型的适应性。
- 实验结果表明，Panda V2在标注样本极少的情况下，性能超过了传统方法，尤其在粒子聚类和识别上表现优异。
📝 摘要（中文）
基础模型在粒子和核物理中的应用日益受到关注，但现有方法往往依赖于特定实验的探测器架构或预训练目标，限制了其在不同传感器模态间的重用性。本文展示了一种点云自蒸馏框架，提供了一种更通用的传感器级预训练方案。我们证明相同的精炼架构和目标可以在三种不同的探测器模态上独立预训练，且在下游任务适应中，Panda V2在标注样本仅为1,000张的情况下，性能匹配或超越了使用数量级更多监督的专用基础模型，尤其在sPHENIX上实现了70倍更少标注事件的粒子聚类性能，同时在粒子识别上也有显著提升。
🔬 方法详解
问题定义：本文旨在解决现有粒子成像探测器预训练方法的局限性，尤其是其对特定实验的依赖性，导致跨模态重用性差的问题。
核心思路：提出了一种点云自蒸馏框架，利用相同的架构和目标在不同探测器模态上进行独立预训练，从而实现更广泛的适用性和更高的性能。
技术框架：整体架构包括数据采集、点云生成、自蒸馏训练和下游任务适应四个主要模块。通过自蒸馏机制，模型能够在不同模态间共享知识。
关键创新：最重要的技术创新在于通过点云自蒸馏实现了对三种不同探测器模态的有效预训练，显著提高了模型的通用性和性能，区别于以往依赖特定架构的做法。
关键设计：在模型设计中，采用了精炼的网络结构和损失函数，确保在不同模态下的有效学习，同时通过优化参数设置来提升训练效率和效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Panda V2在sPHENIX数据集上实现了70倍更少标注事件的粒子聚类性能，同时在LArTPC数据上与Panda的粒子重建相比，标注数量减少了高达1,000倍，展现了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括高能物理实验、核物理研究以及相关的粒子探测技术。通过提升模型的通用性和适应性，未来可在不同实验和探测器中实现更高效的数据分析和粒子识别，推动相关领域的研究进展。
📄 摘要（原文）
Foundation models are increasingly being pursued in particle and nuclear physics, but existing approaches remain strongly tied to individual experiments through detector-specific architectures or pre-training objectives, limiting their reuse across sensing modalities. We show that a point cloud self-distillation framework yields a substantially more general sensor-level pre-training recipe. We show that the same refined architecture and objective can be independently pre-trained with minimal changes on three qualitatively different detector modalities: liquid argon time projection chamber (LArTPC), collider TPC, and water Cherenkov. Using 1,000 labeled images for downstream task adaptation, Panda V2 matches or exceeds specialized foundation-model baselines trained with orders of magnitude more supervision, matching state-of-the-art particle-clustering performance with 70x fewer labeled events on sPHENIX while substantially improving particle identification, and on LArTPC data matching Panda (arXiv:2512.01324) particle reconstruction with up to 1,000x fewer labels. Beyond reconstruction, simple linear probes reveal physically meaningful latent structure associated with particle causality and track curvature.