Align Once to Explain: Feature Alignment for Scalable B-cosification of Foundational Vision Transformers

📄 arXiv: 2611.03438v1 📥 PDF

作者: Raphael Maser, Siddhartha Gairola, Sukrut Rao, Bernt Schiele

分类: cs.CV

发布日期: 2026-11-02

备注: CVPR 2026. 29 pages incl. appendix. R. Maser and S. Gairola contributed equally. This version's models are trained without the regularization term and differ slightly from the CVPR version. Code: https://github.com/rmaser/ALOE ; Models: https://huggingface.co/collections/rmaser/aloe

期刊: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 9869-9879

💡 一句话要点

提出ALOE以提高基础视觉模型的可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 基础视觉模型 特征对齐 B-cosification 深度学习

📋 核心要点

  1. 现有的基础视觉模型虽然性能卓越，但其内部机制不透明，难以解释，限制了其在某些应用中的使用。
  2. ALOE方法通过一次性、无标签的特征对齐，将基础视觉模型转化为可解释的B-cos变体，提升了模型的可解释性。
  3. 实验结果显示，ALOE在ImageNet上相较于DINOv3 ViT-B/16的传统B-cosification方法提升了10.5个百分点，并在多种下游任务中保持竞争力。

📝 摘要（中文）

基础视觉模型因其强大的性能已成为许多视觉任务的标准。然而，这些模型通常缺乏可解释性。本文提出了一种名为ALOE（ALign Once to Explain）的特征对齐方法，能够高效地将基础视觉模型转换为本质上可解释的B-cos变体。ALOE在多种预训练范式下表现稳健，并能以远少于从头训练的数据保留教师级别的泛化能力。在分类任务中，ALOE显著优于传统的B-cosification方法，且在多种下游数据集上保持与基础模型竞争的性能。

🔬 方法详解

问题定义：基础视觉模型在许多任务中表现优异，但其缺乏可解释性使得用户难以理解模型的决策过程，限制了其应用。现有的可解释性方法往往需要大量标注数据或复杂的训练过程，效率低下。

核心思路：ALOE方法通过一次性对齐特征，创建可解释的B-cos变体，避免了传统方法的复杂性。该方法无需标签，能够高效地将基础模型转化为可解释版本，提升了模型的透明度。

技术框架：ALOE的整体架构包括特征对齐模块和B-cos变体生成模块。首先，通过对齐基础模型的特征，生成可解释的B-cos变体，然后将其作为下游任务的替代品，简化了模型的使用过程。

关键创新：ALOE的主要创新在于其一次性特征对齐的方法，能够在多种预训练范式下保持模型的泛化能力，并显著减少所需的数据量。这一方法与传统的逐步训练和复杂的可解释性方法形成鲜明对比。

关键设计：在ALOE中，特征对齐的损失函数设计为无标签形式，确保了对齐过程的高效性。此外，模型结构保持了基础视觉模型的特征，确保了在下游任务中的有效性和可解释性。通过这种设计，ALOE能够在保持性能的同时，提供清晰的解释。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ALOE在ImageNet上相较于传统B-cosification方法提升了10.5个百分点的top-1准确率。此外，ALOE在多个下游任务中保持了与基础模型（如DINOv3、SigLIP2）竞争的性能，证明了其有效性和实用性。

🎯 应用场景

ALOE方法具有广泛的应用潜力，尤其在需要高可解释性的领域，如医疗影像分析、自动驾驶和安全监控等。通过提升模型的可解释性，ALOE能够帮助用户更好地理解模型决策，从而增强信任度和接受度。未来，该方法还可能推动更多领域的可解释人工智能研究。

📄 摘要（原文）

Foundational vision models have become the de facto standard for many vision tasks due to their strong performance. However, they are notoriously opaque and remain hard to interpret. We present ALOE (ALign Once to Explain), a one-time, label-free feature alignment approach that efficiently converts foundational vision models into inherently interpretable B-cos variants. Once aligned, the B-cos backbone is used as a drop-in replacement across several downstream tasks-amortizing the cost of interpretability. ALOE is robust across pre-training paradigms (supervised, self-supervised, vision-language) and can preserve teacher-level generalization with orders of magnitude less data than training from scratch. On classification, it strongly outperforms vanilla B-cosification (e.g., +10.5 p.p. top-1 on ImageNet for DINOv3 ViT-B/16), retains strong linear probing, k-NN, and zero-shot transfer competitive with foundational backbones (DINOv3, SigLIP2) across diverse downstream datasets. It also preserves spatially structured features useful for dense prediction, while yielding well-localized and highly human-interpretable explanations by design.