IntroConformal: Conformal Factuality Guarantees for Large Vision-Language Models via Introspective Signals

📄 arXiv: 2609.01375v1 📥 PDF

作者: Md. Atabuzzaman, Christian Alexander, Chris Thomas

分类: cs.CV, cs.CL

发布日期: 2026-09-01

备注: EMNLP 2026 main conference

💡 一句话要点

提出IntroConformal以解决大规模视觉语言模型的事实准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 事实准确性 内省信号 符合风险控制 多模态学习

📋 核心要点

  1. 现有方法在确保生成内容的事实准确性方面存在不足，常依赖外部验证器或置信信号，导致不可靠的输出。
  2. 本文提出了IntroConformal框架，通过模型自身的内省信号实现事实控制，无需额外训练。
  3. 实验表明，IntroConformal在多个LVLM架构中有效减少放弃率，并在声明级别的区分能力上优于传统方法。

📝 摘要（中文）

大规模视觉语言模型（LVLMs）在多模态性能上取得了显著进展，但确保生成内容的事实准确性仍然面临挑战。现有方法通常依赖外部验证器或生成时的置信信号，这些方法引入了额外的依赖关系，且在自信但错误的输出中往往失效。本文提出了IntroConformal，一个无训练的符合风险控制（CRC）框架，通过模型自身的内省信号实现可靠的事实控制。我们首先通过层级语义稳定性来实例化该框架，随后提出了验证概率，这是一种更强的评分机制，能够捕捉模型对声明事实性的自我判断。实验结果表明，IntroConformal在多个LVLM架构中满足符合风险保证，同时显著减少了放弃率，并在声明级别的区分能力上优于基于外部验证器的基线。

🔬 方法详解

问题定义：本文旨在解决大规模视觉语言模型生成内容的事实准确性问题。现有方法依赖外部验证器或生成时置信信号，导致在自信但错误的输出中失效，无法提供可靠的事实控制。

核心思路：论文提出的IntroConformal框架通过模型内部的内省信号实现事实控制，避免了对外部依赖的需求，从而提高了生成内容的可靠性。

技术框架：IntroConformal框架包括层级语义稳定性和验证概率两个主要模块。层级语义稳定性作为初步的符合性评分，验证概率则提供更强的自我判断能力。

关键创新：最重要的创新在于引入了内省信号作为事实控制的依据，区别于传统方法依赖外部验证器的做法，提供了更为直接和可靠的控制机制。

关键设计：在设计中，层级语义稳定性和验证概率的计算方式是关键，前者基于隐藏状态表示，后者则通过模型自我评估声明的事实性来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IntroConformal在多个LVLM架构中有效减少了放弃率，并在声明级别的区分能力上优于基于外部验证器的基线，证明了其在事实控制方面的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动内容生成、智能问答系统和多模态信息检索等。通过提高生成内容的事实准确性，IntroConformal能够增强用户对系统输出的信任度，推动智能系统在实际应用中的广泛采用。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have achieved strong multimodal performance, yet ensuring the factual correctness of generated content remains challenging. Existing methods that provide statistical guarantees on factuality typically rely on external verifiers or generation-time confidence signals, which introduce auxiliary dependencies or often fail for confident but incorrect outputs. We argue that reliable factuality control can instead be achieved through introspective signals derived from the model itself. We introduce IntroConformal, a training-free Conformal Risk Control (CRC) framework that provides finite-sample, distribution-free factuality guarantees. We first instantiate it with layer-wise semantic stability, a conformity score derived from hidden-state representations, and then propose verification probability, a stronger score capturing the model's self-administered judgment on claim factuality. Across multiple LVLM architectures, IntroConformal satisfies the conformal risk guarantee while substantially reducing abstention and achieving competitive or superior claim-level discrimination relative to external verifier-based baselines.