Dense Coordinate-List Fine-Tuning Induces a Controllable Interference Surface in Vision-Language Models
作者: Chenyu Zhou, Qiliang Jiang, Boguang Pan
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出密集坐标列表微调以控制视觉语言模型的干扰面
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 密集坐标列表 微调技术 输出控制 多模态学习
📋 核心要点
- 现有的视觉语言模型在生成结构化输出时存在序列化和重复问题，影响了模型的实际应用效果。
- 本研究通过微调视觉语言模型，使其能够生成密集坐标列表，从而改善视觉定位并控制输出的重复性。
- 实验结果显示，Gemma 4 12B模型的类感知F1@0.3显著提升，同时重复率得到有效控制，展示了方法的有效性。
📝 摘要（中文）
本研究探讨了微调视觉语言模型以生成密集坐标列表的效果，发现这种方法不仅改善了视觉定位，还改变了模型序列化、重复和终止结构输出的方式。通过对Gemma 4 12B模型的实验，使用高容量的q/k/v/o LoRA技术将类感知F1@0.3从0.007提升至0.448，同时引入重复尾部压力。研究表明，目标信号是可分离的，物体级的重复停止可以消除精确重复记录，同时保持F1指标的稳定。最终，密集坐标列表的适应性创建了一个结构绑定的跨家族干扰面，能够被测量和控制。
🔬 方法详解
问题定义：本研究旨在解决视觉语言模型在生成结构化输出时的序列化和重复问题。现有方法在处理复杂视觉任务时，容易出现输出重复和信息冗余，影响模型的性能和用户体验。
核心思路：论文提出通过微调视觉语言模型，使其能够生成密集坐标列表，从而改善视觉定位的准确性，并通过控制输出的重复性来提升模型的实用性。这样的设计使得模型在处理复杂任务时，能够更好地管理和控制生成的输出。
技术框架：整体架构包括数据预处理、模型微调和输出控制三个主要阶段。首先，对输入数据进行处理以适应模型需求；其次，通过高容量的q/k/v/o LoRA技术对模型进行微调；最后，利用结构轴探测器对输出进行控制和优化。
关键创新：最重要的技术创新在于引入了密集坐标列表的生成机制，这一机制能够有效减少输出中的重复信息，并提高视觉定位的准确性。这与现有方法的本质区别在于，传统方法往往无法有效控制输出的重复性。
关键设计：在参数设置上，采用了高容量的q/k/v/o LoRA技术，并通过q/v秩的调整保持最大重复次数在21-22之间。此外，采用了物体级的重复停止策略，显著降低了重复记录的数量，同时保持了F1指标的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gemma 4 12B模型的类感知F1@0.3从0.007提升至0.448，重复率降低至0.080，最大重复次数为23。同时，Qwen3-VL-8B模型在控制输出方面表现出色，F1@0.3达到0.318，重复率为0.000，展示了该方法的有效性和可控性。
🎯 应用场景
该研究的潜在应用领域包括智能视觉系统、自动驾驶、机器人导航等，能够在这些领域中提升模型的视觉理解能力和输出的准确性。未来，随着技术的进一步发展，该方法有望在更多复杂场景中得到应用，推动多模态学习的进步。
📄 摘要（原文）
Fine-tuning vision-language models to emit dense coordinate lists improves visual grounding but also changes how models serialize, repeat, and terminate structured outputs. We study this behavior as a generation and control surface. In Gemma 4 12B, high-capacity q/k/v/o LoRA raises class-aware F1@0.3 from 0.007 to 0.448 while inducing repeated-tail pressure (duplicate rate 0.080, max repeat 23). A q/v rank sweep keeps max repeat at 21-22 across ranks 4-64, showing capacity persistence. The target signal is separable: object-level repeat-stop removes exact repeated records (duplicate rate 0.000, max repeat 1) while preserving F1 (0.494 to 0.490) and stricter F1@0.5 (0.381 to 0.385). Structure-axis probes localize the effect to bbox-coordinate object lists; dense non-bbox and spatial/count JSON remain repeat-clean, including under high-capacity adapters. Qwen3-VL-8B reproduces a clean controlled endpoint (F1@0.3 0.318, duplicate rate 0.000), and COCO 2017 reproduces acquisition plus duplicate pressure. Dense coordinate-list adaptation therefore creates a structure-bound, cross-family interference surface that can be measured and controlled.