Early Cue Precision Shapes Visual Shortcut Learning in Controlled Cue-Manipulation Benchmarks

📄 arXiv: 2606.30344v1 📥 PDF

作者: Chanho Park, Woochan Lee, Janyeong Oh, Geongho Gong, Minshu Kim, Yeachan Kwak, Seongim Choi

分类: cs.CV, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出早期线索精度以改善视觉快捷学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉分类器 线索精度 冲突行为 纹理选择 计算机视觉 深度学习 机器学习

📋 核心要点

  1. 现有视觉分类器在冲突或抑制情况下表现不佳，无法有效利用低级线索进行准确分类。
  2. 论文提出通过操控早期线索精度来改善视觉学习过程，强调线索去相关性的重要性。
  3. 实验结果显示，在CIFAR-10基准上，冲突准确率显著下降，纹理选择率显著上升，验证了提出方法的有效性。

📝 摘要（中文）

视觉分类器在依赖低级线索时能够实现高匹配分布准确性，但在冲突或抑制情况下表现不佳。本文探讨早期线索精度如何影响这一失败，进行了一系列实验，包括合成形状-纹理任务、顺序数字训练、10类冻结表示审计和CIFAR-10自然图像纹理覆盖基准。研究发现，低早期线索精度在目标前的冲突行为上有所改善，但丰富的快捷微调会迅速覆盖这一优势。因此，线索去相关性在下游适应过程中必须持续维护，而不是一次性处理。

🔬 方法详解

问题定义：本文旨在解决视觉分类器在依赖低级线索时的准确性下降问题，尤其是在冲突或抑制情况下的表现不佳。现有方法未能有效处理线索的去相关性，导致学习过程中的准确性受损。

核心思路：论文的核心思路是通过操控早期线索精度来改善视觉学习，认为早期线索的可靠性对后续学习过程有重要影响。通过实验验证了低早期线索精度在目标前的冲突行为改善，但强调了在下游适应中保持线索去相关性的重要性。

技术框架：整体架构包括多个实验阶段，首先在合成形状-纹理任务中测试线索匹配概率，然后在顺序数字训练和CIFAR-10基准上进行验证。每个阶段都评估匹配ID准确性、冲突准确性、纹理选择率和抑制行为。

关键创新：最重要的技术创新在于提出了早期线索精度对视觉学习的影响，并通过多种实验验证了这一理论，与现有方法相比，强调了线索去相关性在学习过程中的持续重要性。

关键设计：在实验中，设置了不同的线索匹配概率和纹理覆盖强度，使用了多种损失函数和网络结构，确保了实验结果的可靠性和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在10类数字探测中，冲突准确率从0.589下降到0.005，而在CIFAR-10冻结探测中，冲突准确率从0.569下降到0.114，纹理选择率则从0.049上升到0.855，验证了早期线索精度的重要性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、机器人感知等。通过改善视觉分类器的学习过程，可以提高其在复杂环境中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual classifiers can achieve high matched-distribution accuracy while relying on low-level cues that fail under conflict or suppression. We test whether this failure is shaped by early cue precision: the reliability with which a low-level cue predicts the label during early learning or downstream probe fitting. Across synthetic shape-texture tasks, sequential digit training, a 10-class frozen-representation audit, and a CIFAR-10 natural-image-based texture-overlay benchmark, we manipulate object-texture match probability and evaluate matched-ID accuracy, conflict accuracy, texture-choice rate, and suppression behavior. Degraded-but-predictive input does not substitute for cue decorrelation. In 10-class digit probes, conflict accuracy drops from 0.589 under chance-like cue precision to 0.005 under target-perfect texture. In CIFAR-10 frozen probes, conflict accuracy drops from 0.569 to 0.114, while texture choice rises from 0.049 to 0.855; this ordering persists across texture-overlay strengths alpha in {0.15,0.25,0.35,0.50}. End-to-end CIFAR-10 training shows that low early cue precision improves pre-target conflict behavior, but shortcut-rich fine-tuning can rapidly overwrite this benefit. Cue decorrelation must therefore be maintained during downstream adaptation rather than treated as a one-time inoculation.