Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning
作者: Liyan Tang, Fangcong Yin, Greg Durrett
分类: cs.CL, cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出VRRL框架以解决视觉语言模型自我反思不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 自我反思 强化学习 多模态输入 分布外准确率 经验重放 视觉基础
📋 核心要点
- 现有的视觉语言模型在自我反思时未能有效关注视觉输入，导致修正能力不足，尤其是在处理分布外图像时。
- 本文提出的VRRL框架通过随机掩蔽和经验重放机制，强化模型在反思过程中的视觉基础能力，提升修正效果。
- 实验结果显示，VRRL在分布外准确率上显著优于传统的强化学习和反思导向的微调基线，表现出更强的适应性。
📝 摘要（中文）
大型视觉语言模型（LVLM）通过生成文本推理链（CoT）来处理多模态输入。自我反思是CoT推理中的关键能力，能够回顾早期决策并纠正错误。然而，现有LVLM在反思过程中往往未能充分关注视觉输入，限制了其将反馈转化为有根据的修正能力，尤其是在分布外图像的情况下。为了解决这一问题，本文提出了一种新颖的强化学习训练框架VRRL，设计了两个组件以引导视觉基础的自我反思。通过随机掩蔽轨迹前缀和引入经验重放缓冲区，模型能够学习从多样的失败状态中进行修正。实验结果表明，该方法在视觉基础任务和空间导航基准上显著提高了分布外准确率。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言模型在自我反思过程中未能有效利用视觉输入的问题，尤其是在面对分布外数据时的修正能力不足。
核心思路：提出VRRL框架，通过随机掩蔽轨迹前缀和经验重放机制，促使模型在反思时更好地关注视觉信息，从而提高修正能力。
技术框架：整体架构包括两个主要模块：一是随机掩蔽机制，强调从错误的中间预测中恢复；二是经验重放缓冲区，提供多样化的失败状态供模型学习。
关键创新：最重要的创新在于引入了视觉基础的自我反思机制，通过强化学习的方式有效提升了模型在分布外数据上的表现，与传统方法相比，显著改善了修正能力。
关键设计：在训练过程中，随机掩蔽的参数设置和经验重放的缓冲区设计是关键，确保模型能够接触到多种失败状态并进行有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VRRL框架在视觉基础任务上相比于传统的强化学习和反思导向微调基线，平均分布外准确率提升显著，具体数据未提供，但提升幅度明显，展示了其有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等多模态任务，能够提升系统在复杂环境中的决策能力和适应性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large vision-language models can reason over multimodal inputs by generating textual chains of thought (CoT). A key capability exhibited in CoT reasoning is self-reflection: revisiting earlier decisions and correcting previous errors. However, existing LVLMs often fail to properly attend to visual inputs during reflection, limiting their ability to translate feedback into grounded corrections, especially for out-of-distribution images. To address this issue, we propose a novel reinforcement learning training framework VRRL, with two components explicitly designed to elicit visually grounded self-reflection. First, we randomly mask trajectory prefixes during training to emphasize recovery from incorrect intermediate predictions rather than making early mistakes. Second, we introduce buffered roll-ins from an experience replay buffer to expose the model to diverse failure states that it must learn to correct. We evaluate our approach on visual grounding tasks involving tables and charts, as well as spatial navigation benchmarks. While off-the-shelf and conventionally fine-tuned models degrade substantially under distribution shift, our method substantially improves average out-of-distribution accuracy over standard RL and reflection-oriented fine-tuning baselines by using self-reflection effectively.