Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection

📄 arXiv: 2606.26849v1 📥 PDF

作者: Ke Chen, Ling Zhou, Guangqi Jiang, Gengshen Wu, Yi Liu, Shoukun Xu

分类: cs.CV

发布日期: 2026-06-25

备注: 20 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出液态融合网络解决通用显著目标检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 显著目标检测 液态神经网络 多模态融合 动态特征聚合 频谱分析

📋 核心要点

  1. 现有的显著目标检测方法未能充分利用不同神经网络的频谱特性，导致性能瓶颈。
  2. 本文提出液态融合网络（LFNet），通过动态集成来自不同网络的特征，克服频谱偏差问题。
  3. LFNet在RGB、RGB-D、RGB-T等五个任务上表现出色，达到了最先进的性能，提升了检测精度和效率。

📝 摘要（中文）

通用显著目标检测（SOD）旨在从单模态或多模态场景中识别和分割视觉上有趣的对象。现有方法的一个关键限制是忽视了不同神经网络范式所表现出的固有频谱偏差。通过对卷积神经网络（CNNs）和状态空间模型（SSMs）的数据集级频谱分析，发现它们的语义表示在频率偏好上是互补的。基于此，本文提出了一种液态融合网络（LFNet），通过动态集成来自VMamba和ConvNeXt的特征，弥合了这些频谱偏差。此外，LFNet引入了一种显著性引导上采样操作，以在保持语义的同时抑制上采样伪影。大量实验表明，LFNet在五个不同任务上达到了最先进的性能，提供了检测精度与模型效率之间的优越平衡。

🔬 方法详解

问题定义：本文旨在解决通用显著目标检测中的频谱偏差问题，现有方法未能有效利用不同神经网络的互补特性，导致检测性能不足。

核心思路：通过液态融合网络（LFNet），动态集成来自卷积神经网络（CNNs）和状态空间模型（SSMs）的特征，利用其互补的频率偏好来提升显著目标检测的效果。

技术框架：LFNet的整体架构包括两个主要模块：特征提取模块和动态门控机制。特征提取模块分别从VMamba和ConvNeXt提取特征，动态门控机制则用于根据内容进行特征聚合。

关键创新：LFNet的核心创新在于引入了液态神经网络的动态信息传播机制，使得特征融合能够适应多模态线索，从而提高了模型的灵活性和准确性。

关键设计：LFNet采用了状态-刺激范式，将VMamba特征视为演变状态，ConvNeXt特征视为外部刺激，利用动态门控机制进行特征聚合。此外，显著性引导上采样操作设计用于抑制上采样伪影，同时保持语义信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LFNet在五个不同任务（RGB、RGB-D、RGB-T、VSOD和VDT）上表现出色，达到了最先进的性能，具体提升幅度在检测精度和模型效率之间取得了优越的平衡，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，能够有效提升这些领域中显著目标检测的准确性和效率。未来，LFNet有望在多模态数据处理和实时应用中发挥更大作用，推动相关技术的发展。

📄 摘要（原文）

General Salient Object Detection (SOD) aims to identify and segment visually interesting objects from uni-modality or multi-modality scenes, recently advanced by cutting-edge State Space Models (SSMs). However, a critical limitation of current approaches is their neglect of the inherent spectral biases exhibited by different neural network paradigms. By digging to the dataset-level spectral analysis of Convolutional Neural Networks (CNNs) and SSMs, their semantic representations are inherently complementary based on their complementary frequency preferences. Inspired by this, we harmonize heterogeneous representations from SSMs and CNNs to bridge their spectral biases for general salient object detection. To this end, inspired by the dynamic information propagation of Liquid Neural Networks (LNNs), we introduce a liquid fusion to dynamically integrates features from two backbones, including VMamba and ConvNeXt, referred to Liquid Fusion Network (LFNet). Concretely, by treating the continuous VMamba features and ConvNeXt features as evolving states and exogenous stimulus, respectively, LFNet employs a dynamic gating mechanism for content-aware feature aggregation. Crucially, this state-stimulus paradigm enables to scale to multi-modal cues, resulting in flexibility in general SOD. Besides, a Saliency-Guided Upsampling (SGU) operator to propagate the features to the shallow layer, which leverages a spectral-spatial co-design to suppress upsampling artifacts while preserving semantics. Extensive experiments across five diverse tasks (RGB, RGB-D, RGB-T, VSOD, and VDT) demonstrate that LFNet achieves state-of-the-art performance, offering a superior trade-off between detection accuracy and model efficiency. Code has been released at https://github.com/cke520/LFNet.