Mirror-Fusion Attention for Reflection-Aware Self-Supervised Representation Learning
作者: Ruixin Li, Jin Liu, Yuling Shi, Stefano Lodi
分类: cs.CV, cs.LG
发布日期: 2026-07-01
备注: Accepted at ECML PKDD 2026. The final authenticated version will be available in the Springer LNCS proceedings
💡 一句话要点
提出镜像融合注意力以解决自监督学习中的反射感知问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自监督学习 镜像融合 反射感知 视觉变换器 医学图像 人脸识别 轻量级模型
📋 核心要点
- 现有自监督学习方法在处理双边数据时，严格的翻转不变性可能导致有用信息的丢失。
- 本文提出MFASSL框架，通过构建镜像配对视图和引入MFA模块，增强了自监督学习的反射感知能力。
- 实验结果显示，MFASSL在多个数据集上显著提升了下游任务性能和反射鲁棒性，超越了多种基线方法。
📝 摘要（中文）
大多数自监督学习（SSL）方法鼓励在数据增强之间保持不变性，但严格的翻转不变性可能抑制在双边数据（如医学图像和人脸）中有用的左右对应关系。本文提出了镜像融合增强自监督学习（MFASSL），这是一个在标准SSL中注入软反射先验的视觉变换器框架，而无需重新设计主干网络。MFASSL构建了与估计对称轴对齐的镜像配对视图，并引入了轻量级的镜像融合注意力（MFA）模块，以实现镜像区域之间的自适应令牌级交互，同时保留不对称线索。基于CheXpert、BraTS、CelebA-HQ和WFLW的实验结果表明，MFASSL在下游任务性能、校准和反射鲁棒性方面优于MoCo-v3、DINO和MAE基线，并且仅增加约2.7%的参数。
🔬 方法详解
问题定义：本文旨在解决现有自监督学习方法在处理双边数据时，严格翻转不变性导致的信息丢失问题。现有方法在面对医学图像和人脸等数据时，无法有效利用左右对应关系。
核心思路：MFASSL框架通过构建镜像配对视图，结合轻量级的镜像融合注意力模块，允许在镜像区域之间进行自适应交互，同时保留不对称信息，从而增强反射感知能力。
技术框架：MFASSL的整体架构包括镜像配对视图的构建、MFA模块的设计以及与反射一致性和中间层令牌对齐损失的结合。该框架在不重新设计主干网络的情况下，增强了自监督学习的表现。
关键创新：最重要的技术创新在于引入了镜像融合注意力模块，使得镜像区域之间的交互更加灵活，能够适应不同的反射特征。这一设计与现有方法相比，能够更好地处理不对称信息。
关键设计：MFASSL在损失函数中结合了反射一致性损失和中间层令牌对齐损失，确保了模型在学习过程中能够有效利用镜像信息。同时，MFA模块的设计保持了计算的轻量性，仅增加约2.7%的参数。
🖼️ 关键图片
📊 实验亮点
在多个数据集（如CheXpert、BraTS、CelebA-HQ和WFLW）上，MFASSL在下游任务性能、校准和反射鲁棒性方面均优于MoCo-v3、DINO和MAE等基线方法，显示出显著的性能提升，且仅增加约2.7%的参数。
🎯 应用场景
该研究的潜在应用领域包括医学图像分析、人脸识别和其他需要处理双边数据的计算机视觉任务。通过增强自监督学习的反射感知能力，MFASSL有望提高相关领域的模型性能和鲁棒性，推动相关技术的实际应用和发展。
📄 摘要（原文）
Most self-supervised learning (SSL) methods encourage invariance across augmentations, but strict flip invariance can suppress informative left--right correspondences in approximately bilateral data such as medical images and human faces. We propose Mirror-Fusion-Augmented Self-Supervised Learning (MFASSL), a Vision Transformer framework that injects a soft reflection prior into standard SSL without redesigning the backbone. MFASSL constructs mirror-paired views aligned to an estimated symmetry axis and introduces a lightweight Mirror-Fusion Attention (MFA) module for adaptive token-level interaction between mirrored regions while preserving asymmetric cues. The base SSL objective is further coupled with reflection-consistency and mid-layer token-alignment losses. Across CheXpert, BraTS, CelebA-HQ, and WFLW, MFASSL improves downstream performance, calibration, and reflection robustness over MoCo-v3, DINO, and MAE baselines under matched ViT-B/16 settings. It also achieves stronger and more consistent gains than recent equivariant SSL approaches with only approximately 2.7\% additional parameters. These results show that lightweight geometry-aware priors can effectively complement invariance-based SSL.