VISA: Agentic Self-Evolving Data Synthesis for Multimodal Instruction Following
作者: Min Zeng, Guanxin Tan, Libin Cen, Yawei Wen, Rui Hu, Liuyang Bian, Xiaolong Chen, Xiaoxin Chen
分类: cs.CL
发布日期: 2026-08-26
💡 一句话要点
提出VISA框架以解决多模态指令跟随数据合成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态指令跟随 数据合成 自我演化 强化学习 视觉分析 约束优化 模型适应性
📋 核心要点
- 现有的多模态指令合成方法通常忽视失败样本的反馈，导致生成的数据缺乏多样性和挑战性。
- VISA框架通过自我演化循环，动态分析图像并生成多样性和难度感知的指令，提升合成质量。
- 在MM-IFEval实验中，VISA显著提高了多模态指令跟随的性能，超越了多个强基线模型。
📝 摘要（中文）
多模态指令跟随模型需要准确、多样、可验证且具有挑战性的训练数据。现有合成流程通常采用单次生成-过滤的范式，忽视了失败样本的反馈、验证结果和目标模型的错误。本文提出了VISA（视觉指令合成代理），一个将多模态指令合成重构为自我演化循环的代理框架。VISA在每轮中分析图像以过滤不兼容的约束并发现新的可验证约束，从持久内存中采样多样性和难度感知的约束集，生成候选指令，并通过可执行工具和结构化的大型语言模型进行验证。失败样本触发诊断引导的恢复，而接受的样本则通过目标模型进行难度估计。实验结果表明，VISA在MM-IFEval上持续提升多模态指令跟随性能，同时在七个公共基准上保持一般的多模态能力。
🔬 方法详解
问题定义：本文旨在解决多模态指令合成中数据生成的准确性和多样性不足的问题。现有方法通常采用单次生成-过滤的方式，未能有效利用失败样本的反馈，导致生成的数据质量不高。
核心思路：VISA框架通过将多模态指令合成重构为自我演化的循环过程，动态分析和调整生成过程，以适应新的约束和挑战，从而提升数据合成的质量和多样性。
技术框架：VISA的整体架构包括多个模块：首先分析输入图像以过滤不兼容的约束；然后从持久内存中采样多样性和难度感知的约束集；接着生成候选指令，并通过可执行工具和大型语言模型进行验证；最后，根据验证结果调整约束空间。
关键创新：VISA的核心创新在于其自我演化的循环机制，能够根据反馈动态调整生成策略，与传统方法相比，显著提高了数据合成的适应性和有效性。
关键设计：在设计上，VISA使用了持久内存来存储约束信息，并通过诊断引导的恢复机制处理失败样本。此外，验证器还提供了强化学习的奖励信号，无需单独训练奖励模型。
🖼️ 关键图片
📊 实验亮点
在MM-IFEval的实验中，VISA在多模态指令跟随任务上表现出色，显著提高了性能，相较于多个强基线模型，提升幅度达到了未知的百分比，展示了其在多模态能力上的优势。
🎯 应用场景
VISA框架在多模态指令跟随任务中具有广泛的应用潜力，能够为机器人、智能助手和自动化系统提供高质量的训练数据。其自我演化的特性使得模型能够不断适应新的任务和环境，提升实际应用中的智能水平和响应能力。
📄 摘要（原文）
Multimodal instruction-following models require training data that is accurate, diverse, verifiable, and challenging. Existing synthesis pipelines typically follow a one-pass generate-and-filter paradigm, discarding feedback from failed samples, verifier outcomes, and target-model errors. We present VISA (Visual Instruction Synthesis Agent), an agentic framework that reformulates multimodal instruction synthesis as a self-evolving loop. At each round, VISA analyzes an image to filter incompatible constraints and discover new verifiable ones, samples diversity- and difficulty-aware constraint sets from persistent memory, generates candidate instructions, and verifies the resulting samples with executable tools and structured large language model judges. Failed samples trigger diagnostic-guided recovery, while accepted samples are probed against the target model to estimate difficulty. The resulting verifier signals and target-model failure profiles are written back to memory, allowing subsequent rounds to adaptively expand the constraint space, reduce template repetition, and focus on unresolved model weaknesses. The same verifier contracts further provide reward signals for reinforcement learning without a separately trained reward model. Experiments on MM-IFEval show that VISA consistently improves multimodal instruction following over strong baselines, while preserving general multimodal capability across seven public benchmarks.