DICS: Exploring Data Intrinsic Consistency for Visual Instruction Selection

📄 arXiv: 2608.30209v1 📥 PDF

作者: Yuyang Hong, Jinhui Guo, Jiaqi Gu, Lubin Fan, Ruixiang Wang, Kun Ding, Yue Wu, Shiming Xiang, Jieping Ye

分类: cs.CV

发布日期: 2026-08-31

备注: Accepted by EMNLP2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出DICS以解决视觉指令选择中的数据一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉指令调优 数据选择 多模态学习 一致性评估 自适应方法

📋 核心要点

  1. 现有方法在选择最佳数据子集时，往往忽视了样本内部的一致性，导致性能瓶颈。
  2. 本文提出数据内在一致性（DIC）指标，通过视觉信息一致性和响应信息一致性评估样本间的一致性。
  3. DICS方法在使用仅25% LLaVA-1.5-665K数据的情况下，超越了全数据集微调的效果，展示了显著的性能提升。

📝 摘要（中文）

视觉指令调优对于提升视觉-语言模型（VLMs）的对齐和指令跟随能力至关重要。然而，在快速扩展的数据集中，在固定比例约束下识别最佳子集仍然是一个重大瓶颈。现有方法主要依赖于分布多样性或启发式过滤，往往忽视了单个样本内部的一致性。为了解决这一问题，本文提出了数据内在一致性（DIC），一种自评分指标，用于量化样本级别的组件间一致性。DIC由两个模块组成：视觉信息一致性（VIC）和响应信息一致性（RIC）。基于DIC，本文引入了数据内在一致性选择（DICS），一种自适应数据选择方法，优化样本内部一致性与全局分布多样性之间的权衡。实验表明，DICS在不同数据集规模和模型架构上均优于现有最先进方法。

🔬 方法详解

问题定义：本文旨在解决在固定比例约束下，从快速扩展的数据集中选择最佳子集的问题。现有方法主要依赖于分布多样性或启发式过滤，常常忽视样本内部的一致性，导致选择效果不佳。

核心思路：论文提出数据内在一致性（DIC）作为自评分指标，旨在量化样本级别的组件间一致性。通过评估视觉内容与指令之间的对齐程度，以及响应与指令之间的一致性，DIC能够更全面地反映样本的质量。

技术框架：DIC由两个主要模块组成：视觉信息一致性（VIC）和响应信息一致性（RIC）。VIC评估视觉内容与指令的对齐，而RIC则评估响应与指令的一致性。基于DIC，DICS方法能够在不同的数据预算下自适应选择数据，优化样本内部一致性与全局分布多样性之间的平衡。

关键创新：DICS的主要创新在于引入了数据内在一致性这一新颖的自评分指标，能够有效地评估样本内部的一致性，克服了现有方法的局限性。

关键设计：在DICS中，关键参数包括样本选择的比例和一致性评分的阈值。损失函数设计上，结合了样本内部一致性和全局分布多样性，确保选择的样本既具备高质量又能代表整体数据分布。整体网络结构则采用了模块化设计，便于扩展和调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DICS在多个数据集规模和模型架构上均表现优异，使用仅25%的LLaVA-1.5-665K数据，超越了全数据集微调的效果，达到了94.52%的InternVL3-8B-Instruct性能，展示了显著的提升幅度。

🎯 应用场景

该研究的潜在应用领域包括视觉指令跟随、自动化内容生成以及多模态学习等。通过优化数据选择过程，DICS能够在资源有限的情况下，提升模型的训练效率和性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Visual instruction tuning is crucial for advancing the vision-language alignment and instruction-following capabilities of Vision-Language Models (VLMs). However, identifying optimal subsets under a fixed ratio constraint from rapidly expanding datasets remains a significant bottleneck. While existing methods largely depend on distribution diversity or heuristic filtering, they often overlook the internal coherence within individual samples. To bridge this gap, we propose Data Intrinsic Consistency (DIC), a self-scoring metric designed to quantify the sample-level inter-component consistency. DIC consists of two modules: Visual Information Consistency (VIC), evaluating the alignment between visual content and instructions, and Response Information Consistency (RIC), assessing response coherence relative to the instruction. Building upon DIC, we introduce Data Intrinsic Consistency Selection (DICS), an adaptive data selection method that optimizes the trade-off between high intra-sample consistency and global distributional diversity under varying data budgets. Extensive experiments demonstrate that DICS consistently outperforms state-of-the-art methods across diverse dataset scales and model architectures, surpassing full-dataset fine-tuning while using only 25% of the LLaVA-1.5-665K data. We further curate DICS-6M, a 6M-sample multi-modal instruction corpus that enables the largest-scale visual instruction selection study to date; remarkably, DICS reaches 94.52\% of the official InternVL3-8B-Instruct performance using less than 25\% of its reported training data. Code can be seen at https://github.com/cqu-student/DICS