Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning
作者: Liyan Tang, Fangcong Yin, Greg Durrett
分类: cs.CL, cs.CV
发布日期: 2026-07-02
💡 一句话要点
提出VRRL框架以解决视觉语言模型自我反思不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 自我反思 强化学习 多模态输入 分布外准确性
📋 核心要点
- 现有的视觉语言模型在自我反思时未能有效关注视觉输入，导致其在处理分布外图像时的修正能力不足。
- 本文提出的VRRL框架通过随机掩蔽轨迹前缀和引入经验重放缓冲区，促进模型从错误中恢复并学习多样的失败状态。
- 实验结果表明，使用自我反思的VRRL方法在分布外准确性上显著优于标准强化学习和反思导向的微调基线。
📝 摘要（中文）
大型视觉语言模型能够通过生成文本思维链（CoT）对多模态输入进行推理。自我反思是CoT推理中的关键能力，能够回顾早期决策并纠正之前的错误。然而，现有的视觉语言模型在反思过程中往往未能有效关注视觉输入，限制了其将反馈转化为基于视觉的修正能力，尤其是在处理分布外图像时。为了解决这一问题，本文提出了一种新颖的强化学习训练框架VRRL，包含两个专门设计的组件以引导视觉基础的自我反思。我们在涉及表格和图表的视觉基础任务以及空间导航基准上评估了我们的方法。与传统的微调模型相比，我们的方法在分布外准确性上有显著提升。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言模型在自我反思过程中未能有效利用视觉输入的问题。这种不足限制了模型在处理分布外图像时的修正能力。
核心思路：论文提出的VRRL框架通过随机掩蔽训练过程中的轨迹前缀，强调从错误中恢复的能力，同时引入经验重放缓冲区以暴露模型于多样的失败状态，从而促进视觉基础的自我反思。
技术框架：整体架构包括两个主要模块：一是随机掩蔽轨迹前缀以强调恢复能力，二是使用经验重放缓冲区来提供多样的训练样本。模型通过强化学习进行训练，以优化自我反思的效果。
关键创新：最重要的技术创新在于引入了随机掩蔽和经验重放机制，这与现有方法的主要区别在于强调了从错误中恢复的能力，而不仅仅是纠正早期决策。
关键设计：在训练过程中，随机掩蔽的比例和经验重放的样本选择策略是关键设计参数。此外，损失函数的设计也考虑了自我反思的有效性，以确保模型能够在不同的失败状态下进行学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用VRRL框架的模型在分布外准确性上相比于标准强化学习和反思导向的微调基线有显著提升，具体提升幅度达到XX%。这一结果表明，模型在处理未见过的图像时的自我反思能力得到了有效增强。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化数据分析和机器人导航等。通过提升视觉语言模型在复杂场景下的自我反思能力，能够显著提高其在实际应用中的准确性和可靠性，进而推动多模态交互技术的发展。
📄 摘要（原文）
Large vision-language models can reason over multimodal inputs by generating textual chains of thought (CoT). A key capability exhibited in CoT reasoning is self-reflection: revisiting earlier decisions and correcting previous errors. However, existing LVLMs often fail to properly attend to visual inputs during reflection, limiting their ability to translate feedback into grounded corrections, especially for out-of-distribution images. To address this issue, we propose a novel reinforcement learning training framework VRRL, with two components explicitly designed to elicit visually grounded self-reflection. First, we randomly mask trajectory prefixes during training to emphasize recovery from incorrect intermediate predictions rather than making early mistakes. Second, we introduce buffered roll-ins from an experience replay buffer to expose the model to diverse failure states that it must learn to correct. We evaluate our approach on visual grounding tasks involving tables and charts, as well as spatial navigation benchmarks. While off-the-shelf and conventionally fine-tuned models degrade substantially under distribution shift, our method substantially improves average out-of-distribution accuracy over standard RL and reflection-oriented fine-tuning baselines by using self-reflection effectively.