V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning
作者: Haoxiang Sun, Zhihang Yi, Langxuan Deng, Yuhao Zhou, Peiqi Jia, Jian Zhao, Li Yuan, Jiancheng Lv, Tao Wang
分类: cs.CV
发布日期: 2026-06-24
🔗 代码/项目: GITHUB
💡 一句话要点
提出V-Zero以解决细粒度视觉推理中的标签依赖问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 细粒度视觉推理 无监督学习 对比学习 多模态模型 视觉证据门控 蒸馏训练 智能监控 自动驾驶
📋 核心要点
- 现有方法在细粒度视觉推理中依赖于昂贵的监督和验证规则，限制了其效率和灵活性。
- V-Zero通过对比证据门控实现无答案标签的视觉推理，利用学生自采样的轨迹进行训练。
- 实验结果显示，V-Zero在多个基准上表现优异，训练速度显著提升，且泛化能力强。
📝 摘要（中文）
细粒度视觉推理要求多模态大语言模型（MLLMs）识别与任务相关的视觉证据，并将推理基于局部图像区域。现有的代理方法通常依赖于强化学习和监督微调，导致探索成本高、验证规则设计复杂或对文本监督的重度依赖。为避免外部答案标签，本文提出了一种无答案标签的视觉推理框架V-Zero，利用对比证据门控来评估学生采样的轨迹。实验表明，V-Zero在多个视觉推理基准上显著提升了细粒度视觉推理的效果，同时保持了强大的泛化能力。V-Zero的训练速度比之前的监督微调方法快5倍，比强化学习基线快10倍。
🔬 方法详解
问题定义：本文旨在解决细粒度视觉推理中对外部答案标签的依赖问题。现有方法通常需要昂贵的监督和复杂的验证规则，导致效率低下。
核心思路：V-Zero提出了一种无答案标签的框架，通过对比证据门控来评估学生自采样的轨迹，从而实现有效的视觉推理。这样的设计避免了对外部标签的依赖，提升了训练的灵活性和效率。
技术框架：V-Zero的整体架构包括问题相关区域的视觉裁剪和负视觉视图的配对，利用这些信息对学生的轨迹进行评估，并进行密集的token级蒸馏。主要模块包括对比证据门控和轨迹评估机制。
关键创新：V-Zero的核心创新在于其无答案标签的训练方式，通过对比证据门控实现了有效的token级校正，而不依赖于传统的监督学习方法。与现有方法相比，V-Zero在训练效率和推理能力上有显著提升。
关键设计：在V-Zero中，关键参数设置包括对比证据的选择和轨迹评估的策略。损失函数设计上，采用了针对token级别的蒸馏损失，确保了模型在学习过程中能够有效地进行自我校正。
🖼️ 关键图片
📊 实验亮点
V-Zero在多个视觉推理基准上的实验结果显示，其性能显著优于传统方法，训练速度比监督微调方法快5倍，比强化学习基线快10倍。这一成果表明，V-Zero在细粒度视觉推理中具有强大的实用性和效率。
🎯 应用场景
V-Zero的研究成果在多个领域具有潜在应用价值，包括智能监控、自动驾驶、医疗影像分析等。通过提升细粒度视觉推理的效率和准确性，V-Zero能够为这些领域提供更为智能化的解决方案，推动相关技术的发展与应用。
📄 摘要（原文）
Fine-grained visual reasoning requires multimodal large language models (MLLMs) to identify task-relevant visual evidence and ground their reasoning in local image regions. Existing agentic methods typically rely on reinforcement learning with verifiable rewards or supervised fine-tuning on large-scale annotated reasoning traces, leading to costly exploration, hand-designed verification rules, or heavy dependence on textual supervision. A natural way to avoid such external answer labels is to learn from trajectories sampled by the student itself, which points to On-Policy Distillation (OPD). To understand what OPD can and cannot provide for visual reasoning, we revisit it as negative-free stop-gradient alignment. This perspective shows that, although OPD provides effective token-level correction, its ceiling is constrained by the absence of trajectory-level discrimination. Motivated by these observations, we propose V-Zero, an answer-label-free framework for visual reasoning with contrastive evidence gating. V-Zero uses no annotated textual answer labels; instead, during training it pairs a question-relevant regional crop with a negative visual view to evaluate student-sampled trajectories and gate dense token-level distillation. Experiments on multiple visual reasoning benchmarks show that V-Zero consistently improves fine-grained visual reasoning while preserving strong generalization. Notably, V-Zero is more than 5$\times$ faster than previous supervised fine-tuning methods and more than 10$\times$ faster than reinforcement learning baselines. Code and dataset will be released at https://github.com/eVI-group-SCU/V-Zero