When Features Become Instances: Inverted Contrastive Learning for Unsupervised Feature Selection

📄 arXiv: 2609.00782v1 📥 PDF

作者: Utsab Ghosh, Roshni Chakraborty

分类: cs.AI, cs.CL

发布日期: 2026-09-01

💡 一句话要点

提出反向对比学习以解决无监督特征选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督特征选择 对比学习 表示学习 聚类分析 特征选择

📋 核心要点

  1. 现有的无监督特征选择方法依赖于间接标准，难以有效评估特征的实用性，导致选择结果不够理想。
  2. 本文提出反向对比学习框架（ICLFS），将特征选择视为特征的表示学习问题，通过构建正负视图来实现特征选择。
  3. 在12个基准数据集上的实验结果显示，ICLFS在10个数据集上实现了最佳聚类准确率，表现优于传统和神经基线方法。

📝 摘要（中文）

无监督特征选择旨在在没有类别标签的情况下寻找信息量丰富的特征子集，这使得特征的效用定义变得困难。现有的无监督特征选择方法依赖于间接的结构标准，如相似性保持、局部性、稀疏性、聚类几何或重建质量。本文通过表示一致性研究无监督特征选择，提出了反向对比学习框架（ICLFS），将特征选择重新表述为特征的表示学习问题。ICLFS首先反转数据矩阵，使每个特征由其样本特征向量表示，然后构建多个掩蔽的正视图和一个打乱的负视图，并在基于InfoNCE的目标下学习在这些结构扰动下保持一致的投影空间表示。实验表明，ICLFS在10个数据集上实现了最佳的聚类准确率，展示了特征级对比表示一致性作为无监督特征选择的有效替代方案。

🔬 方法详解

问题定义：本文旨在解决无监督特征选择中的特征效用难以定义的问题。现有方法多依赖于间接的结构标准，导致特征选择效果不佳。

核心思路：提出反向对比学习框架（ICLFS），将特征选择视为特征的表示学习问题，通过构建正视图和负视图来增强特征表示的一致性。

技术框架：ICLFS首先反转数据矩阵，使每个特征由其样本特征向量表示；然后构建多个掩蔽的正视图和一个打乱的负视图；最后，通过InfoNCE目标学习投影空间表示。

关键创新：ICLFS的创新在于将特征选择转化为表示学习问题，利用特征级对比学习来提升特征选择的有效性，与传统方法形成鲜明对比。

关键设计：采用基于InfoNCE的损失函数，利用投影空间嵌入的大小作为特征排名的显著性信号，并通过拉普拉斯门控排名修正来优化特征选择结果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在12个基准数据集上的实验中，ICLFS在10个数据集上实现了最佳聚类准确率，优于传统和神经基线方法，显示出特征级对比表示一致性在无监督特征选择中的强大有效性。

🎯 应用场景

该研究在无监督特征选择领域具有广泛的应用潜力，尤其适用于数据标注困难或缺乏标签的场景。通过有效选择特征，可以提高机器学习模型的性能，降低计算成本，推动数据分析和模式识别等领域的发展。

📄 摘要（原文）

Unsupervised feature selection seeks a compact subset of informative features without access to class labels, making feature utility difficult to define. Existing UFS methods therefore rely on indirect structural criteria, such as similarity preservation, locality, sparsity, cluster geometry, or reconstruction quality. In this paper, we instead study UFS through representation consistency and propose Inverted Contrastive Learning for Unsupervised Feature Selection (ICLFS), a feature-wise contrastive framework that reformulates UFS as a representation learning problem over features rather than samples. ICLFS first inverts the data matrix so that each feature is represented by its sample-profile vector, then constructs multiple masked positive views together with a shuffled negative view, and learns projector-space representations that remain consistent across these structured perturbations under an InfoNCE-based objective. Motivated by recent findings that cosine-based and InfoNCE-based training affect embedding norms, we use projector-space embedding magnitude as the saliency signal for ranking features. The resulting norm-based ranking is subsequently refined through Laplacian-Gated Ranking Correction, which suppresses locally redundant candidates while preserving salient ones. Extensive experiments on 12 benchmark datasets show that ICLFS achieves the best clustering accuracy on 10 datasets against both classical and neural baselines under the standard clustering-based UFS evaluation protocol, while remaining competitive on the other two. These results show that feature-wise contrastive representation consistency provides a strong and effective alternative to neighborhood, cluster, and reconstruction-based UFS formulations.