Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation
作者: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei
分类: cs.CV, cs.AI
发布日期: 2026-07-06
💡 一句话要点
提出SearchGen框架以解决视觉生成中的知识边界问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉生成 知识边界 共训练 搜索工具 动态适应 多模态生成 用户请求 性能提升
📋 核心要点
- 现有视觉生成器在处理用户请求时面临知识瓶颈，无法有效应对开放世界中的新信息。
- 本文提出了一种教-再搜索的共训练框架，通过发现生成器的知识边界来提升生成性能。
- 在SearchGen-Bench上，现有生成器的得分仅为21到28，本文方法显著提升了生成器的知识适应能力。
📝 摘要（中文）
视觉生成器在渲染方面表现出色，但在面对未知信息时却会自信地虚构内容。用户请求是无界的、不断演变的，涵盖新角色、热门实体和后截止事件等。现有生成器在固定语料上训练，导致其在开放的视觉世界中存在知识瓶颈。为此，本文构建了SearchGen-20K和SearchGen-Bench数据集，包含20,839个提示，涵盖十二个失败类别和二十二个领域，并配备了可支持离线研究的SearchGen-Corpus-1M。实验表明，现有生成器在SearchGen-Bench上的得分仅为21到28，显示出40分的性能崩溃。我们提出了一种教-再搜索的共训练框架，能够发现生成器特有的知识边界，从而实现视觉生成的递归自我改进。
🔬 方法详解
问题定义：本文旨在解决视觉生成器在面对开放世界知识时的局限性，现有方法无法有效处理用户的多样化请求，导致生成内容的准确性和相关性不足。
核心思路：提出教-再搜索的共训练框架，通过结合生成器的内部知识与外部搜索工具，动态调整生成器的知识边界，从而提升生成效果。
技术框架：整体框架包括两个主要模块：首先是生成器模块，负责生成初步内容；其次是搜索模块，负责检索外部信息并与生成器的输出进行融合，形成最终结果。
关键创新：最重要的创新在于提出了动态知识边界的概念，并通过共训练机制实现生成器与搜索工具的有效协同，显著提升了生成器对新信息的适应能力。
关键设计：在共训练过程中，采用了特定的损失函数来平衡生成器输出与搜索结果的相关性，同时设计了适应性参数调整机制，以优化生成器的学习过程。具体的网络结构和参数设置在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
在SearchGen-Bench上，现有生成器的得分仅为21到28，而通过本文提出的共训练框架，生成器的性能得到了显著提升，展示了对新信息的更好适应性和生成质量的改善，提升幅度达到40分以上。
🎯 应用场景
该研究的潜在应用领域包括游戏角色生成、虚拟现实内容创建以及社交媒体图像生成等。通过提升视觉生成器对新知识的适应能力，能够为用户提供更加丰富和个性化的视觉内容，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Visual generators excel at rendering, but they confidently fabricate what they do not know. User requests are unbounded, evolving, and deeply long-tailed: new characters, trending entities, post-cutoff events, and more. This world-knowledge bottleneck is structural: generators are trained on fixed corpora, but the visual world is open-ended. We construct SearchGen-20K and SearchGen-Bench, with 20,839 prompts spanning twelve failure categories and twenty-two domains, paired with a pre-executed multimodal SearchGen-Corpus-1M to support offline, reproducible research. On SearchGen-Bench, frontier open generators score only 21 to 28 out of 100, a 40-point collapse invisible to existing benchmarks. The natural remedy is to employ search tools, enabling agentic visual generation. However, we find that naive search fails: it retrieves indiscriminately, injecting noise into prompts the generator already handles. We trace the root cause to a generator-specific, evolving knowledge boundary: the divide between what a generator can internalize through training and what must remain in external context. Although this boundary is hard to specify in advance, we show that it is discoverable through a teach-then-search co-training framework. Even a minimal version of this co-training recipe produces monotonic improvement, laying the foundation for recursive self-improvement in visual generation that can meet world-knowledge-grounded requests. We release the full dataset, co-training corpus, and search corpus as a replayable harness for tool-augmented, world-knowledge-grounded visual generation.