S$^2$COPE: Self-Supervised Concept Discovery via Preference Learning

📄 arXiv: 2606.14586v1 📥 PDF

作者: Shilong Xiang, Zirui Zhang, Chengzhi Mao

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出S$^2$COPE以解决自监督概念发现问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 概念发现 视觉-大语言模型 偏好学习 特征提取 无标签学习 可解释性

📋 核心要点

  1. 现有的自监督学习方法生成的特征往往不透明，且可解释模型依赖于大量人工标注，限制了其应用。
  2. S$^2$COPE框架通过将VLLMs作为自监督偏好优化的参与者，能够在没有标签的情况下发现新的视觉概念。
  3. 实验结果显示，S$^2$COPE在多个领域的下游分类任务中，分类准确率提升了24个百分点，表现优于标准VLLMs。

📝 摘要（中文）

当前的表示学习范式面临根本性的妥协：自监督方法能够扩展到大规模数据集，但生成的特征不透明，而可解释模型则受到密集人工标注的瓶颈限制。本文提出了自监督概念发现框架S$^2$COPE，通过偏好学习解决了这一困境。该框架将视觉-大语言模型（VLLMs）视为自监督偏好优化循环中的主动参与者，能够从原始图像中自主假设、验证和强化候选视觉属性，发现新的结构化概念。实验表明，S$^2$COPE在自然、医学和物理领域成功提取了领域特定概念，且在下游任务中实现了最高24个百分点的分类准确率提升。

🔬 方法详解

问题定义：本文旨在解决自监督学习中生成特征不透明与可解释模型依赖人工标注之间的矛盾。现有方法在处理大规模数据集时，往往无法提供可解释的结果。

核心思路：S$^2$COPE通过将VLLMs作为主动参与者，利用自监督偏好优化循环，能够从原始图像中自主发现和验证视觉属性，进而提取结构化概念。

技术框架：该框架包括数据输入、偏好学习模块和概念发现模块。数据输入阶段处理原始图像，偏好学习模块通过与VLLMs的交互进行属性假设和验证，概念发现模块则负责提取和结构化这些属性。

关键创新：S$^2$COPE的主要创新在于将概念发现直接融入VLLM的骨干网络中，通过自监督偏好目标进行优化，而非依赖静态生成和分离过滤。这一方法显著提升了模型的可解释性和性能。

关键设计：在损失函数设计上，采用了自监督偏好优化目标，确保模型能够有效地学习到有意义的视觉属性。网络结构上，S$^2$COPE充分利用了VLLMs的强大特征提取能力，增强了模型的学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个领域的实验中，S$^2$COPE实现了最高24个百分点的分类准确率提升，相较于标准VLLMs表现出显著的优势。这一结果表明，S$^2$COPE在提取领域特定概念方面的有效性，尤其是在未见数据上的表现。

🎯 应用场景

S$^2$COPE的研究成果在多个领域具有广泛的应用潜力，包括医学影像分析、自然图像分类和物理现象建模等。通过无标签的概念发现，该框架能够帮助研究人员更好地理解和解释复杂数据，从而推动相关领域的进步与创新。

📄 摘要（原文）

Current representation learning paradigms force a fundamental compromise: self-supervised methods scale to massive datasets but yield opaque features, whereas interpretable models remain bottlenecked by the need for dense human annotation. We introduce Self-Supervised Concept discOvery via Preference lEarning (\model), a label-free framework that resolves this dilemma. Instead of treating Vision-Large-Language Models (VLLMs) as static feature extractors, \model leverages them as active participants in a self-supervised preference optimization loop. By autonomously hypothesizing, validating, and reinforcing candidate visual attributes directly from raw imagery, our framework discovers novel, structured concepts without a single label. Extensive experiments across natural, medical, and physics domains demonstrate that \model successfully extracts domain-specific concepts where standard VLLMs often fail to generate. By amortizing concept discovery directly into the VLLM backbone through our self-supervised preference objective -- rather than relying on static generation and disjoint filtering -- we achieve up to a 24-point absolute improvement in downstream top-1 classification accuracy on unseen data. Our work suggest that interpretability can emerge through a model's autonomous interaction with incidental visual structures, without any human supervision.