VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct
作者: Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang
分类: cs.AI, cs.CL, cs.CV, cs.LG
发布日期: 2026-06-22
💡 一句话要点
提出VeriEvol以解决可验证的多模态数学推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态数学推理 强化学习 数据构建 可验证性 进化算法 视觉推理 教育技术
📋 核心要点
- 现有方法在扩展视觉数学推理时，面临数据标签可靠性不足的问题，导致结果不稳定。
- 本文提出VeriEvol框架，通过可验证的数据构建方法，解耦提示难度与答案可靠性，提升数据质量。
- 实验结果显示，使用VeriEvol扩展数据后，准确率显著提高，验证了该方法在实际应用中的有效性。
📝 摘要（中文）
在视觉数学推理中，扩展强化学习不仅需要生成更难的问题，还需确保奖励标签的可靠性。现有数据管道在扩展监督时依赖标注者的信任，而策略方法则假设基础答案已经正确。本文将扩展视为可验证的数据构建问题，提出了VeriEvol框架，包含类型感知的进化模块和HTV-Agent验证器，前者将低难度的图像问题种子重写为更难的图像基础提示，后者在多源反证未能驳斥答案之前才接受答案。通过在五个基准视觉数学测试中进行实验，扩展的数据量从10K提升至250K，平均准确率从35.42提升至54.73，验证了该方法的有效性。
🔬 方法详解
问题定义：本文旨在解决在视觉数学推理中，数据标签可靠性不足的问题。现有方法在扩展数据时，依赖标注者的信任，导致答案的准确性无法得到保证。
核心思路：论文提出将扩展视为可验证的数据构建问题，通过引入类型感知的进化模块和HTV-Agent验证器，确保生成的答案在多源反证下的可靠性，从而提升数据质量。
技术框架：VeriEvol框架包含两个主要模块：类型感知的进化模块负责将低难度的图像问题种子转化为更难的图像基础提示；HTV-Agent验证器在多源反证未能驳斥答案之前才接受该答案。
关键创新：最重要的创新点在于将数据构建与验证过程分开，确保生成的数据不仅数量庞大，而且质量可靠。这与现有方法依赖标注者信任的方式有本质区别。
关键设计：在设计中，进化模块采用特定的进化操作来扩展提示难度，而HTV-Agent则通过离线假设检验来确保答案的可靠性，具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
在五个基准视觉数学测试中，使用VeriEvol扩展的数据量从10K提升至250K，平均准确率从35.42提升至54.73。此外，固定基础模型和GRPO配方后，VeriEvol相较于未进化的RL基线增加了3.88的累积提升，其中1.82来自进化提示，2.06来自HTV-Agent验证器。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学题生成等。通过提供高质量的数学问题和答案，能够有效提升学习效果和教学质量，未来可能对教育行业产生深远影响。
📄 摘要（原文）
Scaling reinforcement learning for visual mathematical reasoning requires more than generating harder questions: as data volume grows, the reward labels themselves must remain reliable. Yet existing data pipelines scale supervision while trusting the labeller, and policy-side methods assume the underlying answers are already correct. We instead treat scaling as a verifiable data-construction problem and decouple two axes before any policy update: prompt difficulty, expanded by route-specific evolution operators, and answer reliability, enforced by offline hypothesis-test falsification. We instantiate this as VeriEvol, an iterative framework with two extensible components: a type-aware evolution module that rewrites low-difficulty image-question seeds into harder, image-grounded prompts; and HTV-Agent, a verifier that accepts an answer only after multi-source counter-evidence has failed to refute it. The resulting verified data scales in volume, extends by adding evolution routes or verifier channels, and plugs directly into existing GRPO-style RL recipes. On a five-benchmark visual-math suite, scaling evolved SFT data from 10K to 250K samples raises the mean accuracy from 35.42 to 54.73; then, with backbone, SFT initialization, and GRPO recipe held fixed, VeriEvol adds a cumulative +3.88 over an un-evolved RL baseline, of which +1.82 comes from evolved prompts and +2.06 from the HTV-Agent verifier. We release the prompts, data, models, code, and the full verifier trace of every sample, so that downstream work can scale and audit the pipeline rather than only inspect its outputs.