核心发现
方法论
VeriEvol提出一种基于逐步演化和离线答案验证的双轴扩展框架。核心包括类型感知的提示演化模块，通过特定路由策略将低难度的图像-问题种子转化为更具挑战性的图像-问题提示；以及HTV-Agent，一个多源反证的假设-检验验证器，确保答案在被采纳前经过多重反驳失败。该框架将提示难度和答案可靠性解耦，分别通过演化路径和验证渠道扩展数据规模。演化操作由问题类别路由控制，确保生成内容符合特定推理技能和视觉证据需求；验证器采用多阶段流程，包括独立解题器假设生成、反证验证、程序性和视觉证据检验，以及冲突解决和确定性答题门控。最终，验证通过的样本以标准的prompt-answer-reward三元组形式，直接融入现有的基于GRPO的强化学习流程中。
关键结果
- 在五个视觉数学基准上，演化后SFT数据从10K提升至250K样本，平均准确率从35.42%提升至54.73%，提升幅度达19.31%。在保持模型骨架、SFT初始化和GRPO策略不变的条件下，VeriEvol在RL训练中相较未演化数据基础提升了+3.88的累计性能，其中演化提示贡献+1.82，验证器贡献+2.06。
- 通过扩展演化路径和验证渠道，数据规模实现了单调增长，验证数据从10K到130K，RL样本从10K到130K，均表现出持续提升的趋势。验证器的多源反证机制显著降低了视觉和文本快捷方式的错误率，提升了答案的可靠性和模型的推理能力。
- 在五个基准上，VeriEvol优于多种7B参数规模的视觉推理模型（如OpenMMReasoner-7B、ReVisual-R1-7B等），平均外部评测分数提升了约8-10个百分点，验证了其在大规模、多模态推理任务中的优越性和扩展性。
研究意义
该研究突破了视觉数学推理中数据规模与答案可靠性之间的瓶颈，提出的逐步演化和离线验证机制，为大规模多模态数据构建提供了新思路。通过确保数据的可验证性，显著提升了强化学习的训练效果，推动了多模态大模型在复杂推理任务中的应用落地。这不仅改善了模型的推理能力，也为未来多模态数据生成、验证和扩展提供了可操作的技术框架，有望引领行业在自动化教育、科学计算、智能辅助等领域实现更大突破。
技术贡献
本论文提出的VeriEvol框架在多模态视觉数学推理中实现了数据规模的可控扩展，核心技术包括类型感知的提示演化模块和多源反证验证器。演化模块采用问题类别路由策略，结合特定操作（如几何、图表、OCR）逐步提升提示难度，确保生成的样本具有更强的推理深度。验证器HTV-Agent通过多阶段流程，利用多个独立解题器和多源反证渠道，有效识别并拒绝错误答案，确保训练数据的高可靠性。该方法在保持现有强化学习策略不变的基础上，实现了数据的可追溯、可扩展和可审计，为RL训练中的数据质量控制提供了新范式。
新颖性
本研究的创新点在于将提示演化与答案验证深度结合，突破了传统数据增强仅依赖生成器或单一验证的局限。首次提出将演化路径与离线答案反驳机制结合，形成双轴扩展策略，实现数据规模的指数级增长，同时保证答案的可靠性。这种设计在多模态推理任务中尚属首创，有效解决了标签噪声和推理难度不足的问题，为大规模、多模态训练提供了全新解决方案。
局限性
- 尽管验证机制显著提升了答案的可靠性，但在极端复杂或模糊的场景下，验证器仍可能出现误判，影响数据质量。
- 演化路径的设计依赖于问题类别的准确路由，若分类错误可能导致生成内容不符合预期推理技能，影响样本多样性和难度控制。
- 该方法在大规模数据生成和验证过程中存在较高的计算成本，尤其是在多源反证和多阶段验证环节，未来需优化效率以实现工业级应用。
未来方向
未来将探索更高效的验证机制，结合自监督和少样本学习技术，降低验证成本。同时，计划引入更丰富的多模态信息源，如视频、语音等，扩展推理场景的复杂度。还将研究动态调整演化路径和验证策略，实现自适应难度控制和质量保证，以支持更大规模的模型训练和实际应用。
AI 总览摘要
在人工智能的快速发展中，视觉数学推理一直是衡量多模态模型理解和推理能力的重要标杆。然而，随着模型规模的不断扩大，数据的质量和规模成为制约其性能提升的关键因素。传统的数据采集和标注方式难以保证标签的可靠性，尤其是在复杂多变的视觉推理场景中，错误标签不仅会误导模型训练，还会在强化学习阶段强化错误策略。为此，Li等人提出了VeriEvol框架，旨在通过逐步演化提示和离线答案验证，系统性地扩展高质量、多样化的训练数据，从而显著提升模型的推理能力和泛化水平。
VeriEvol的核心思想是将数据扩展过程解耦为两个独立的轴：提示难度的逐步提升和答案可靠性的多源验证。提示演化模块采用问题类别路由策略，根据不同的推理任务（如几何、图表、OCR）选择对应的演化操作，将简单的图像-问题种子逐步转化为更具挑战性、图像-grounded的提示。这一过程确保生成的样本具有更深层次的推理需求，避免仅靠文本信息解决问题。与此同时，HTV-Agent验证器通过多阶段流程，利用多个独立解题器和反证渠道，识别并拒绝可能的错误答案，确保训练数据的高可靠性。
在实际应用中，作者在五个视觉数学基准上进行了大量实验，结果显示，演化后数据从10K增长到250K样本，平均准确率提升了19.31个百分点（从35.42%到54.73%）。在强化学习阶段，验证机制带来的性能提升尤为显著，累计提升达3.88点，验证了该方法在大规模、多模态推理中的有效性。与多种7B参数规模的模型相比，VeriEvol在多个指标上均表现优越，展示了其在学术和工业界的潜力。
该研究的意义在于解决多模态推理中数据质量与规模的矛盾，提出的逐步演化和离线验证机制，为未来大规模、多样化、多模态数据的自动生成和验证提供了新思路。通过确保每个训练样本的答案经过严格验证，模型训练的鲁棒性和推理能力得到了实质性提升。这不仅推动了多模态模型在科学计算、智能教育、自动化推理等领域的应用，也为未来构建更可靠、更智能的AI系统奠定了基础。
总之，Li等人的VeriEvol框架在视觉数学推理任务中实现了数据扩展的质与量的突破，为多模态AI的可扩展性和可靠性提供了创新方案。未来，随着验证机制的不断优化和多模态信息源的丰富，预计这一方法将在更广泛的复杂推理任务中展现出巨大潜力，推动AI技术迈向更高的智能水平。
深度解读
原文摘要
Scaling reinforcement learning for visual mathematical reasoning requires more than generating harder questions: as data volume grows, the reward labels themselves must remain reliable. Yet existing data pipelines scale supervision while trusting the labeller, and policy-side methods assume the underlying answers are already correct. We instead treat scaling as a verifiable data-construction problem and decouple two axes before any policy update: prompt difficulty, expanded by route-specific evolution operators, and answer reliability, enforced by offline hypothesis-test falsification. We instantiate this as VeriEvol, an iterative framework with two extensible components: a type-aware evolution module that rewrites low-difficulty image-question seeds into harder, image-grounded prompts; and HTV-Agent, a verifier that accepts an answer only after multi-source counter-evidence has failed to refute it. The resulting verified data scales in volume, extends by adding evolution routes or verifier channels, and plugs directly into existing GRPO-style RL recipes. On a five-benchmark visual-math suite, scaling evolved SFT data from 10K to 250K samples raises the mean accuracy from 35.42 to 54.73; then, with backbone, SFT initialization, and GRPO recipe held fixed, VeriEvol adds a cumulative +3.88 over an un-evolved RL baseline, of which +1.82 comes from evolved prompts and +2.06 from the HTV-Agent verifier. We release the prompts, data, models, code, and the full verifier trace of every sample, so that downstream work can scale and audit the pipeline rather than only inspect its outputs.
参考文献 (20)
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Adam Suma, Sam Dauncey
DeepEyes: Incentivizing "Thinking with Images" via Reinforcement Learning
Ziwei Zheng, Michael Yang, Jack Hong 等
Measuring Multimodal Mathematical Reasoning with MATH-Vision Dataset
Ke Wang, Junting Pan, Weikang Shi 等
MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning
Fanqing Meng, Lingxiao Du, Zongkai Liu 等
Judge Anything: MLLM as a Judge Across Any Modality
Shu Pu, Yaochen Wang, Dongping Chen 等
MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources
Sicong Leng, Jing Wang, Jiaxi Li 等
See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning
Shuoshuo Zhang, Yizhen Zhang, Jingjing Fu 等
V-Zero: Self-Improving Multimodal Reasoning with Zero Annotation
Han Wang, Yi Yang, Jingyuan Hu 等
InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models
Jinguo Zhu, Weiyun Wang, Zhe Chen 等
We-Math: Does Your Large Multimodal Model Achieve Human-like Mathematical Reasoning?
Runqi Qiao, Qiuna Tan, Guanting Dong 等
OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems
Chaoqun He, Renjie Luo, Yuzhuo Bai 等
CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing
Zhibin Gou, Zhihong Shao, Yeyun Gong 等
Infi-MMR: Curriculum-based Unlocking Multimodal Reasoning via Phased Reinforcement Learning in Multimodal Small Language Models
Zeyu Liu, Yuhang Liu, Guanghao Zhu 等
MMMU: A Massive Multi-Discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI
Xiang Yue, Yuansheng Ni, Kai Zhang 等
More Than the Final Answer: Improving Visual Extraction and Logical Consistency in Vision-Language Models
H. Just, Yifei Fan, Handong Zhao 等
Dual-Uncertainty Guided Policy Learning for Multimodal Reasoning
Rui Liu, Dian Yu, Tong Zheng 等
Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models
Wenxuan Huang, Bohan Jia, Zijie Zhai 等