Dual-Stream Cross-Anchor Correction Grounding Long-Form Captions and the Domain Limits of Object-Level Anchors

📄 arXiv: 2608.12746v1 📥 PDF

作者: LingKai Bu

分类: cs.CV, cs.CL

发布日期: 2026-08-13

💡 一句话要点

提出双流交叉锚定修正以解决长文本描述中的物体幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 物体幻觉 多模态学习 视觉锚定 深度学习 自然语言处理 跨领域泛化

📋 核心要点

  1. 现有方法在处理长文本描述时，物体幻觉现象严重，导致生成的描述中包含缺失物体的提及。
  2. 本文提出的双流交叉锚定修正（DSCC）通过在微调过程中引入物体级视觉锚定，增强了语言模型的生成能力。
  3. 实验结果显示，DSCC在长文本生成中实现了88.19%的物体提及精度，且生成文本长度约为基线的1.9倍，显著降低了物体幻觉的发生。

📝 摘要（中文）

在多模态大语言模型中，物体幻觉现象发生在语言先验和语料共现偏差超过视觉证据时，导致个别物体提及与图像内容无关。现有方法多在解码阶段进行干预，且效果主要限于短文本。本文提出双流交叉锚定修正（DSCC），首次在微调过程中将物体级视觉锚定注入语言模型。该方法通过感知流和认知流的结合，增强了生成过程中的证据检索，显著提高了长文本描述的准确性和一致性。实验结果表明，DSCC在长文本、物体存在性判别和跨领域泛化任务中表现优异。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中物体幻觉的问题，现有方法在解码阶段进行干预，效果主要局限于短文本，导致生成的长文本中仍有超过40%的缺失物体提及。

核心思路：DSCC通过在微调阶段将物体级视觉锚定注入语言模型，利用感知流和认知流的结合，增强了生成过程中的证据检索，使得生成的文本与图像内容更为一致。

技术框架：DSCC的整体架构包括两个主要模块：感知流和认知流。感知流在中间层对齐物体级隐藏状态与冻结文本锚定，认知流则在生成的每一步通过交叉注意力查询这些锚定。两者通过双阶段课程门控机制结合，确保在每个自回归步骤中进行结构约束。

关键创新：DSCC是首个在微调过程中将物体级视觉锚定注入语言模型的方法，突破了传统方法在解码阶段的局限，显著提高了长文本生成的准确性。

关键设计：在损失函数设计上，采用了双向对比目标来对齐感知流和认知流，确保生成的文本与视觉证据的紧密结合。实验中还进行了消融实验，验证了感知流和认知流的协同效应。通过对比基线，DSCC在长文本生成中表现出更高的精度和一致性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，DSCC在长文本生成任务中达到了88.19%的物体提及精度，生成文本长度约为基线的1.9倍，显著降低了物体幻觉的发生率。与传统的监督微调方法相比，DSCC在长文本、低幻觉区域的表现是唯一达到该标准的方法，展示了其在多模态生成中的优势。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、视频内容分析和人机交互等。通过提高长文本生成的准确性，DSCC可以在自动化内容创作、辅助视觉理解和增强现实等场景中发挥重要作用，未来可能推动多模态系统的进一步发展。

📄 摘要（原文）

Object hallucination in multimodal large language models arises when language priors and corpus co-occurrence bias outweigh the visual evidence, with nothing tying an individual object mention to what the image shows. Most remedies intervene at decoding time without training, yet under a unified protocol their benefit is confined to short captions;supervised fine-tuning (SFT) on a detail- rich corpus lengthens captions, but over forty percent still name absent objects. This paper proposes Dual-Stream Cross-Anchor Correction (DSCC). Unlike work that post-processes decoding, DSCC is the first to inject object-level visual anchors into the language model itself during fine- tuning: a perception stream aligns object-level hidden states at an intermediate layer to frozen text anchors by a bidirectional contrastive objective; a cognition stream lets deeper layers query those anchors by cross-attention at every generation step; and a two-stage curriculum gate couplesthem, making evidence retrieval a structural constraint at each autoregressive step. Under one backbone and one scoring protocol, experiments span long-caption hallucination, object-existence discrimination and cross-domain generalisation, with vanilla SFT on the same corpus and schedule as a length- and density-matched control, so gains are attributed layer by layer. DSCC is the only method reaching the long-caption, low-hallucination region: captions roughly 1.9 times the baseline length at 88.19% precision per object mention, the highest under a density-independent criterion. Ablations expose a synergy: the perception stream alone degrades precision yet reverses sign when stacked on the cognition stream. No universal superiority is claimed: three out-of- domain benchmarks yield a predictable, falsifiable domain-conditionality, the synergy being bound to the anchors' semantic domain and breaking on charts and optical illusions.