Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap

📄 arXiv: 2607.00606v1 📥 PDF

作者: Bingchen Huang, Zhiling Wang, Yifu Chen, Yuanchao Du

分类: cs.CV

发布日期: 2026-07-01

备注: 12 pages, 6 figures. Includes appendix. Introduces the MAAC-Bench benchmark

💡 一句话要点

提出ReVisIT框架以解决视觉推理中的生成依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 无训练学习 多模态检索 示例图像 性能提升 结构化定义 计算机视觉 人机交互

📋 核心要点

  1. 现有方法主要依赖生成技术，使得视觉推理过程复杂且不稳定，难以实现高效的推理。
  2. ReVisIT框架通过检索示例图像而非生成新图像，实现了无训练的视觉推理，简化了推理流程。
  3. 在多个基准测试中，ReVisIT展现出优异的性能，尤其在MiniImageNet任务中达到了98.5%的准确率，显著优于未使用该框架的模型。

📝 摘要（中文）

近年来，图像思维的研究使得视觉成为推理的动态部分，但大多通过生成方式实现，存在工具协议、脆弱代码或昂贵训练流程等问题。本文提出ReVisIT，一个无训练的框架，通过检索标记的示例图像并对其进行推理，填补了这一空白。ReVisIT结合了结构化类别定义、每查询的多模态示例检索以及用户/助手交替注入示例，最终实现联合多属性解码。在VL-ICL Bench Fast Open MiniImageNet上，使用ReVisIT的Qwen3-VL-30B-A3B达到了98.5%的准确率，接近72B LLaVA-OneVision的最先进水平，同时参数量约为其1/2.4。该框架在多个基准测试中展现了显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决现有视觉推理方法中对生成技术的依赖，导致推理过程复杂且不稳定的问题。现有方法往往需要昂贵的训练流程和脆弱的代码，限制了其实际应用。

核心思路：ReVisIT框架的核心思想是通过检索标记的示例图像进行推理，而不是生成新图像。这样可以避免生成过程中的不确定性，同时实现无训练的高效推理。

技术框架：ReVisIT的整体架构包括结构化类别定义、每查询的多模态示例检索、用户与助手交替注入示例，以及联合多属性解码。每个模块都可以根据任务需求进行调整，从而实现灵活的应用。

关键创新：ReVisIT的主要创新在于将检索的图像-标签对视为视觉思维的单元，利用检索质量而非生成能力来提升推理效果。这一方法与传统生成方法本质上不同，提供了一种新的思路。

关键设计：在设计上，ReVisIT强调检索质量的重要性，83%的性能提升源于检索质量而非示例的存在。框架中还包含了适应性结构定义，以满足不同任务的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VL-ICL Bench Fast Open MiniImageNet上，使用ReVisIT的Qwen3-VL-30B-A3B模型达到了98.5%的准确率，接近72B LLaVA-OneVision的98.7%。此外，ReVisIT在Bongard-OpenWorld任务中为GPT-4.1增加了26.1个百分点的性能提升，展现了其强大的效果。

🎯 应用场景

ReVisIT框架在多模态推理、计算机视觉和人机交互等领域具有广泛的应用潜力。其无训练的特性使得在资源受限的环境中也能高效运行，未来可能推动智能助手、自动驾驶和智能监控等领域的发展。

📄 摘要（原文）

Recent work on Thinking with Images makes vision a dynamic part of reasoning, but does so through generation: the model invokes external tools, synthesizes code, or imagines new imagery, each at the cost of a tool protocol, brittle code, or an expensive training pipeline. A fourth route makes vision dynamic without generating anything, by retrieving labeled exemplar images and reasoning over them, yet it remains underexplored despite being train-free. We present ReVisIT, a train-free framework that realizes this retrieval-based route by treating each retrieved image-label pair as a unit of visual thought. ReVisIT combines structured class definitions, per-query multimodal retrieval of exemplars, and alternating user/assistant injection of those exemplars before joint multi-attribute decoding, and degrades gracefully to whichever components a task admits. On VL-ICL Bench Fast Open MiniImageNet, Qwen3-VL-30B-A3B with ReVisIT reaches 98.5% at 4-shot, statistically indistinguishable from the 72B LLaVA-OneVision SOTA (98.7%) on this near-saturated task at about 1/2.4 the parameters, while the same backbone without the scaffold sits at chance. The turns layer alone adds 26.1 points to GPT-4.1 on free-form concept induction (Bongard-OpenWorld), and the full stack yields a 4-6 point macro gain across three backbones on MAAC-Bench, a new license-clean 27-class, 5-attribute benchmark, significant by paired bootstrap on the curator-derived attributes. Component analysis shows that retrieval-plus-turns is the universal lever while structured definitions are need-adaptive, and that 83% of the retrieval gain comes from retrieval quality rather than from the presence of exemplars. MAAC-Bench is released with a rubric-grounded LLM verification protocol that replaces author spot-check on subjective attributes.