SelfThinker: Self-Evolving Reasoning via Reliability-Verified Intrinsic Visual Thoughts

📄 arXiv: 2610.40115v1 📥 PDF

作者: Zhangquan Chen, Ruqi Huang

分类: cs.CV

发布日期: 2026-10-29

备注: 25 pages, 12 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出SelfThinker以解决视觉理解中的人类注释依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我进化 视觉理解 多模态模型 无监督学习 条件点互信息 自蒸馏 图像生成 深度学习

📋 核心要点

  1. 现有的视觉链式思维方法依赖人工注释的辅助图像，导致训练过程复杂且效率低下。
  2. SelfThinker通过自生成的视觉思维进行自我进化，避免了对人工图像的依赖，提升了理解能力。
  3. 实验结果表明，SelfThinker在多个基准测试中显著提升性能，尤其在细粒度和空间感知任务上表现优异。

📝 摘要（中文）

统一的多模态模型能够在单一权重集内生成和理解图像，为利用图像合成作为视觉理解的训练监督提供了机会。然而，现有的视觉链式思维方法在训练中依赖人工注释的辅助图像，并且在测试时需要缓慢的图像生成。我们提出了SelfThinker，这是第一个自我进化框架，能够将统一模型自生成的视觉思维转化为更强的理解，而无需人类图像注释。SelfThinker从生成路径中采样候选辅助图像，并通过条件点互信息对每个候选进行评分。高效的视觉思维通过流匹配来优化生成器，并作为在政策自蒸馏中的特权教师上下文。在推理时，SelfThinker直接从原始图像中进行文本推理，而无需生成中间图像。尽管仅在小型合成视觉搜索和导航数据集上训练，SelfThinker在自然图像和空间基准上表现出广泛的迁移能力，将ThinkMorph-7B的七个基准平均值从52.7提高到64.0（+11.3分）。

🔬 方法详解

问题定义：本论文旨在解决现有视觉理解方法对人类注释辅助图像的依赖问题，导致训练效率低下和推理过程缓慢。

核心思路：SelfThinker通过自生成的视觉思维进行自我进化，利用条件点互信息对候选图像进行评分，从而增强模型的理解能力。

技术框架：SelfThinker的整体架构包括生成路径和理解路径两个主要模块。生成路径负责生成候选图像，而理解路径则对这些图像进行评分和优化。

关键创新：SelfThinker的创新在于其自我进化机制，能够在没有人工注释的情况下，利用自生成的视觉思维提升理解能力，这与现有方法的依赖性形成鲜明对比。

关键设计：在技术细节上，SelfThinker采用了流匹配优化生成器，并在自蒸馏过程中使用高效的视觉思维作为教师上下文，确保了模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SelfThinker在多个基准测试中表现优异，将ThinkMorph-7B的七个基准平均值从52.7提升至64.0，提升幅度达到11.3分。此外，在细粒度和空间感知任务中，SelfThinker超越了ThinkMorph-7B和其预训练的BAGEL-7B骨干网络，分别提升了40.4分和23.2分。

🎯 应用场景

SelfThinker的研究成果在多个领域具有潜在应用价值，包括自动驾驶、机器人视觉、智能监控等。通过提升视觉理解能力，该模型能够在复杂环境中更好地进行决策和操作，未来可能推动智能系统的广泛应用。

📄 摘要（原文）

Unified multimodal models can both generate and understand images within a single set of weights, offering an opportunity to use image synthesis as training supervision for visual comprehension. However, existing visual chain-of-thought methods rely on human-annotated helper images during training and require slow image generation at test time. We present SelfThinker, the first self-evolving framework that turns a unified model's self-generated visual thoughts into stronger understanding without human image annotations. Given a visual problem, SelfThinker samples candidate helper images from its generation pathway and uses its frozen understanding pathway to score each candidate via conditional pointwise mutual information. High-utility visual thoughts then refine the generator via flow matching and serve as privileged teacher context for on-policy self-distillation. At inference, SelfThinker reasons directly from the original image in text without generating intermediate images. Although trained only on small synthetic visual-search and navigation datasets, SelfThinker transfers broadly to natural-image and spatial benchmarks, raising the seven-benchmark average of ThinkMorph-7B from 52.7 to 64.0 (+11.3 points). Controlled image-perturbation probes further show that SelfThinker surpasses ThinkMorph-7B by up to 40.4 points and its pretrained BAGEL-7B backbone by up to 23.2 points across fine-grained and spatial perception tasks. Our code is available at https://github.com/zhangquanchen/SelfThinker.