GptGet

InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model

TL;DR

InternLM-XComposer2.5-Reward通过多模态奖励模型提升LVLMs的生成质量，达成70%准确率。

cs.CV 🔴 高级 2025-01-22 40 次浏览
Yuhang Zang Xiaoyi Dong Pan Zhang Yuhang Cao Ziyu Liu Shengyuan Ding Shenxi Wu Yubo Ma Haodong Duan Wenwei Zhang Kai Chen Dahua Lin Jiaqi Wang
AI 阅读器 Arxiv 原文 下载 PDF
多模态 奖励模型 强化学习 视觉语言模型 开源

核心发现

方法论

IXC-2.5-Reward通过构建多模态偏好数据集来训练奖励模型，结合Proximal Policy Optimization (PPO)算法，提升LVLMs在文本、图像和视频输入上的表现。模型采用视觉编码器和MLP投影器，结合GPT-4o进行偏好判断。

关键结果

  • IXC-2.5-Reward在VL-RewardBench上取得70.0%的宏观准确率，超越所有开源模型。
  • 在文本奖励模型基准上，IXC-2.5-Reward取得88.6%的平均分数，表现优异。
  • 通过PPO训练的IXC-2.5-Chat在多模态对话和指令跟随任务中表现出色。

研究意义

该研究填补了LVLMs多模态奖励模型的空白，通过开源的方式促进了学术界和工业界在多模态生成质量提升方面的研究。它解决了当前多模态数据稀缺的问题，提供了一种有效的训练和评估方法。

技术贡献

IXC-2.5-Reward在多模态输入上实现了奖励评分的统一，提供了新的理论保证和工程可能性。与现有方法相比，它在多模态任务中表现出色，尤其是在处理复杂的推理任务时。

新颖性

这是首个公开的多模态奖励模型，能够在文本、图像和视频输入上进行统一的奖励评分，与现有的单模态方法相比具有显著创新。

局限性

  • 模型在处理非常长的文本输入时可能会出现性能下降的问题。
  • 在某些特定领域的数据稀缺可能影响模型的泛化能力。
  • 需要进一步优化以降低计算成本。

未来方向

未来的研究方向包括扩展多模态数据集的规模和多样性，以及优化模型的计算效率。此外，探索更多的应用场景和改进模型的鲁棒性也是重要的研究方向。

AI 总览摘要

尽管大型视觉语言模型（LVLMs）在视觉理解方面表现出色，但其生成的输出有时不够准确。现有的奖励模型（RMs）通过强化学习或测试时缩放策略可以改善生成质量，但多模态RMs的稀缺性限制了其应用。InternLM-XComposer2.5-Reward（IXC-2.5-Reward）通过构建高质量的多模态偏好数据集，解决了这一问题。该模型在最新的多模态奖励模型基准上表现优异，并在文本奖励模型基准上展现出竞争力。我们进一步展示了IXC-2.5-Reward的三个关键应用：为RL训练提供监督信号，选择最佳响应，以及清理现有的图像和视频指令调优训练数据。

IXC-2.5-Reward通过与Proximal Policy Optimization（PPO）结合，生成了IXC-2.5-Chat，在指令跟随和多模态开放式对话中表现出持续改进。该模型在多模态VL-RewardBench上取得了70.0%的宏观准确率，超越了所有先前的生成性RMs，包括Gemini-1.5-Pro和GPT-4o。即使在单模态（文本）RM基准上，IXC-2.5-Reward也表现出色，平均得分为88.6%。

通过开源所有模型权重和训练配方，IXC-2.5-Reward为多模态奖励模型的研究提供了可重复性和进一步研究的基础。未来的研究方向包括扩展多模态数据集的规模和多样性，以及优化模型的计算效率。

深度解读

原文摘要

Despite the promising performance of Large Vision Language Models (LVLMs) in visual understanding, they occasionally generate incorrect outputs. While reward models (RMs) with reinforcement learning or test-time scaling offer the potential for improving generation quality, a critical gap remains: publicly available multi-modal RMs for LVLMs are scarce, and the implementation details of proprietary models are often unclear. We bridge this gap with InternLM-XComposer2.5-Reward (IXC-2.5-Reward), a simple yet effective multi-modal reward model that aligns LVLMs with human preferences. To ensure the robustness and versatility of IXC-2.5-Reward, we set up a high-quality multi-modal preference corpus spanning text, image, and video inputs across diverse domains, such as instruction following, general understanding, text-rich documents, mathematical reasoning, and video understanding. IXC-2.5-Reward achieves excellent results on the latest multi-modal reward model benchmark and shows competitive performance on text-only reward model benchmarks. We further demonstrate three key applications of IXC-2.5-Reward: (1) Providing a supervisory signal for RL training. We integrate IXC-2.5-Reward with Proximal Policy Optimization (PPO) yields IXC-2.5-Chat, which shows consistent improvements in instruction following and multi-modal open-ended dialogue; (2) Selecting the best response from candidate responses for test-time scaling; and (3) Filtering outlier or noisy samples from existing image and video instruction tuning training data. To ensure reproducibility and facilitate further research, we have open-sourced all model weights and training recipes at https://github.com/InternLM/InternLM-XComposer/tree/main/InternLM-XComposer-2.5-Reward

cs.CV cs.CL