FAN-LoRA: A Fourier-Adaptive Nonlinear Low-Rank Adaptor for Medical Foundation Model Domain Adaptation

📄 arXiv: 2608.26531v1 📥 PDF

作者: Ziquan Liu, Zhewei Zhu, Xuyang Shi

分类: cs.CV

发布日期: 2026-08-27

备注: 9 pages, 4 figures

💡 一句话要点

提出FAN-LoRA以解决医学图像领域适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像 领域适应 低秩适配器 频率解耦 微调方法 图像分割 深度学习

📋 核心要点

  1. 现有的PEFT方法在医学图像领域适应时，常因严重的分布转移而导致性能下降，尤其是在结构对齐和边界模糊方面。
  2. 本文提出的FAN-LoRA通过频率解耦的方式，利用低通和高通分支分别进行全局结构对齐和局部纹理补偿，从而提升适应能力。
  3. 在多个跨模态和跨中心的基准测试中，FAN-LoRA在平均Dice分数和边界错误率上均显著优于现有最强竞争对手。

📝 摘要（中文）

随着视觉基础模型的出现，尤其是Segment Anything Model (SAM)，自然图像分割取得了显著进展。然而，这些模型在医学成像中的直接应用受到跨模态和跨中心转移等领域差距的严重制约。现有的参数高效微调（PEFT）方法虽然能适应SAM到医学领域，但在严重的分布转移下常常表现不佳。为了解决这一表示瓶颈，本文提出了一种新颖的频率解耦微调架构FAN-LoRA，显式地通过B样条驱动的低通分支进行全局结构对齐，并与离散傅里叶高通分支协同工作以进行局部纹理补偿。实验结果表明，FAN-LoRA在多个跨模态和跨中心基准测试中均优于现有的PEFT基线。

🔬 方法详解

问题定义：本文旨在解决医学图像领域适应中的表示瓶颈，现有PEFT方法在面对跨模态和跨中心的分布转移时，常常导致性能下降，尤其是在结构对齐和边界模糊方面。

核心思路：FAN-LoRA的核心思路是通过频率解耦的方式，将优化空间显式分离，利用低通分支进行全局结构对齐，同时通过高通分支进行局部纹理补偿，以提升模型在医学图像中的适应能力。

技术框架：FAN-LoRA的整体架构包括两个主要模块：一个是基于B样条的低通分支，负责全局结构的优化；另一个是离散傅里叶变换的高通分支，负责局部细节的补偿。这种设计使得模型能够在不同频率层面上进行优化。

关键创新：FAN-LoRA的最大创新在于其频率解耦的微调架构，显著区别于传统的PEFT方法，能够有效缓解不同频率成分之间的隐性纠缠，从而提升结构对齐的精度。

关键设计：在FAN-LoRA中，低通分支采用B样条插值进行全局结构对齐，而高通分支则通过离散傅里叶变换实现局部纹理补偿。此外，模型设计保持了紧凑的模块大小，确保了计算效率的同时不影响性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FAN-LoRA在多个跨模态和跨中心基准测试中表现优异，相较于最强的竞争对手，平均Dice分数显著提高，同时边界错误率显著降低，展示了其在医学图像领域适应中的有效性和优势。

🎯 应用场景

FAN-LoRA的研究成果在医学图像处理领域具有广泛的应用潜力，尤其是在跨模态医学成像和多中心数据集的适应性任务中。通过提升模型在不同医学影像之间的迁移能力，FAN-LoRA能够为临床诊断、疾病检测和个性化医疗提供更为精准的支持，未来可能推动医学影像分析技术的进一步发展。

📄 摘要（原文）

The advent of vision foundation models, notably the Segment Anything Model (SAM), has catalyzed significant advancements in natural image segmentation. However, their direct transfer to medical imaging remains severely bottlenecked by profound domain gaps, such as cross-modality and cross-center shifts. Existing Parameter-Efficient Fine-Tuning (PEFT) methods facilitate the adaptation of SAM to medical domains; nevertheless, they frequently suffer from performance degradation under severe distribution shifts. This vulnerability primarily stems from the implicit entanglement of heterogeneous frequency components within a shared low-rank subspace, which directly exacerbates sub-optimal structural alignment and localized boundary blurring. To overcome this representational bottleneck, we propose the Fourier-Adaptive Nonlinear Low-Rank Adaptor (FAN-LoRA), a novel frequency-decoupled fine-tuning architecture. FAN-LoRA explicitly separates the optimization space by employing a B-spline-driven low-pass branch for global structural alignment, synergistically coupled with a discrete Fourier high-pass branch for local textural compensation. Extensive experiments across three challenging cross-modality and cross-center benchmarks demonstrate that FAN-LoRA consistently outperforms state-of-the-art PEFT baselines. Compared to the strongest competitors, our method achieves consistent improvements in average Dice scores and notable reductions in boundary errors, while maintaining a compact module size without compromising computational efficiency.