Vero: An Open RL Recipe for General Visual Reasoning

TL;DR

Vero是一个开源的视觉推理RL方法,使用Vero-600K数据集提升视觉推理性能。

cs.CV 🔴 高级 2026-04-07 1 次浏览
Gabriel Sarch Linrong Cai Qunzhong Wang Haoyang Wu Danqi Chen Zhuang Liu
视觉推理 强化学习 多任务学习 开源 数据集

核心发现

方法论

Vero方法通过构建Vero-600K数据集,结合六大任务类别,使用任务路由奖励机制提升视觉推理能力。采用GRPO算法优化多任务学习,确保模型在多种视觉任务中表现优异。

关键结果

  • Vero-600K在30个基准测试中表现优于现有RL数据集,平均提升2.9到5.4分。
  • Vero-Qwen3I-8B在不额外蒸馏的情况下,超越Qwen3-VL-8B-Thinking 3.8分。
  • 不同任务类别引发不同推理模式,联合学习比单独学习效果更好。

研究意义

Vero的推出为视觉推理研究提供了一个完全开放的平台,解决了现有闭源数据和RL管道难以复现的问题。其在多任务学习中的成功应用为学术界和工业界提供了新的研究方向。

技术贡献

Vero通过任务路由奖励和多任务数据集设计,显著提升了视觉推理模型的性能,提供了新的理论保证和工程可能性。

新颖性

Vero是首个在开放环境下实现多任务视觉推理的RL方法,突破了现有方法的闭源限制。

局限性

  • Vero在某些任务类别中仍存在性能不稳定的问题,尤其是在数据集不均衡的情况下。
  • 模型在处理极端复杂的视觉场景时可能表现不佳。

未来方向

未来工作包括扩展Vero-600K数据集,探索更多任务类别,以及优化任务路由奖励机制以提升模型的泛化能力。

AI 总览摘要

Vero是一个开源的视觉推理强化学习方法,旨在解决现有视觉语言模型在多任务推理中的闭源数据和RL管道难以复现的问题。通过构建Vero-600K数据集,Vero在六大任务类别中表现优异,显著提升了模型的推理能力。

Vero的方法论基于GRPO算法,结合任务路由奖励机制,确保模型在多种视觉任务中表现优异。实验结果显示,Vero在30个基准测试中表现优于现有RL数据集,平均提升2.9到5.4分。

Vero的推出为视觉推理研究提供了一个完全开放的平台,解决了现有闭源数据和RL管道难以复现的问题。其在多任务学习中的成功应用为学术界和工业界提供了新的研究方向。

深度解读

原文摘要

What does it take to build a visual reasoner that works across charts, science, spatial understanding, and open-ended tasks? The strongest vision-language models (VLMs) suggest that broad visual reasoning is within reach, yet their closed data and reinforcement learning (RL) pipelines make their gains difficult to study, reproduce, or extend. We introduce Vero, a family of fully open VLMs that match or exceed existing open-weight models across diverse visual reasoning tasks. We scale RL data and rewards across six broad task categories, constructing Vero-600K, a 600K-sample dataset from 59 datasets, and designing task-routed rewards that handle heterogeneous answers. Across VeroEval, our 30-benchmark suite, Vero-600K outperforms existing RL datasets under controlled comparisons. Applied to five starting models, Vero variants gain 2.9-5.4 points on average over their initial models. Notably, Vero-Qwen3I-8B, trained on the Instruct model, surpasses Qwen3-VL-8B-Thinking by 3.8 points on average without additional distillation. Systematic ablations reveal that different task categories elicit distinct reasoning patterns and that broad gains depend on learning them jointly rather than in isolation. All data, code, and models are publicly available.

cs.CV cs.AI cs.CL