核心发现
方法论
LVR通过视觉编码器将图像投影到共享语义空间中的视觉标记，训练语言模型在潜在状态中重建关键视觉信息。采用两阶段训练：监督微调（SFT）结合重建损失和下一词预测，及基于GRPO的强化学习优化。模型在视觉细节理解任务中表现优异，达成71.67%的MMVP准确率，优于Qwen2.5-VL的66.67%。
关键结果
- 在MMVP数据集上，LVR模型通过潜在推理提升了5个百分点的准确率（71.67%对比66.67%），显著优于现有多模态模型。在细粒度视觉理解任务中，模型表现出更强的视觉细节捕获能力，验证了潜在推理的有效性。
- 结合强化学习（GRPO算法）后，模型在复杂推理场景中的鲁棒性增强，能更好地平衡视觉信息重建与文本生成，提高推理的连贯性和准确性。
- 多任务评估显示，LVR在视觉问答、空间关系、对象计数等多个任务中均优于传统方法，特别是在细节依赖和感知敏感任务中表现出明显优势。
研究意义
该研究突破了传统多模态模型在视觉信息静态处理的局限，将推理扩展到视觉嵌入空间，实现更深层次的跨模态理解。对未来多模态AI的发展具有重要推动作用，尤其在需要细粒度视觉理解的场景中，提供了全新的解决方案。
技术贡献
提出端到端的潜在视觉推理框架，创新性地将视觉信息在潜在空间中重建，结合两阶段训练策略和强化学习优化。引入特殊的LVR标记实现推理与生成的无缝切换，增强模型的推理深度与细节感知能力。
新颖性
首次在多模态大模型中实现视觉推理的潜在空间操作，突破了以往依赖外部工具或静态视觉特征的限制。通过潜在状态重建，模型能更自然地模拟人类的视觉思维过程，提升理解和推理能力。
局限性
- 当前模型在极端复杂场景或超大规模视觉内容中仍存在推理不充分的问题，主要由于潜在空间的表达能力有限。
- 训练成本较高，尤其在强化学习阶段对计算资源需求较大，限制了模型的规模和应用范围。
- 对ROI标注的依赖在某些场景下可能限制模型的泛化能力，未来需探索无标注或弱标注的训练策略。
未来方向
未来将探索更高效的潜在推理机制，减少对ROI标注的依赖，提升模型的自适应能力。同时，结合多任务学习和迁移学习，拓展LVR在更多视觉任务中的应用，推动多模态AI的普及与深化。
AI 总览摘要
随着多模态大模型（MLLMs）在视觉与语言理解方面取得突破，传统方法仍受限于将视觉信息作为静态预设条件，难以实现深层次的跨模态推理。
本文提出Latent Visual Reasoning（LVR），一种在视觉嵌入空间中进行端到端推理的新范式。通过视觉编码器将图像投影到共享语义空间，训练语言模型在潜在状态中重建关键视觉信息，从而实现更细粒度的视觉理解。该方法结合两阶段训练策略：监督微调（SFT）引入重建损失，强化学习（GRPO算法）优化潜在推理过程。
在多个视觉问答和感知任务中，LVR表现优异，达成71.67%的MMVP准确率，优于现有模型。模型在细节捕获和空间关系理解方面表现出显著优势，验证了潜在推理的有效性。这一创新不仅突破了传统模型对静态视觉特征的依赖，也为未来多模态AI提供了新的思路。
未来，研究将聚焦于提升潜在推理的表达能力，减少对ROI标注的依赖，并扩展到更多复杂场景，推动多模态理解的深度融合。整体来看，LVR为实现更自然、更深层次的视觉与语言交互开启了新篇章。
深度解读
原文摘要
Multimodal Large Language Models (MLLMs) have achieved notable gains in various tasks by incorporating Chain-of-Thought (CoT) reasoning in language spaces. Recent work extends this direction by leveraging external tools for visual editing, thereby enhancing the visual signal along the reasoning trajectories. Nevertheless, these approaches remain fundamentally constrained: reasoning is still confined to the language space, with visual information treated as static preconditions. We introduce Latent Visual Reasoning (LVR), a new paradigm that enables autoregressive reasoning directly in the visual embedding space. A visual encoder first projects images into visual tokens within a joint semantic space shared with the language model. The language model is then trained to generate latent states that reconstruct key visual tokens critical for answering the query, constituting the process of latent visual reasoning. By interleaving LVR with standard text generation, our model achieves substantial gains on perception-intensive visual question answering tasks. In addition, we adapt the GRPO algorithm to conduct reinforcement learning on latent reasoning, further balancing LVR and textual generation. We show that LVR substantially improves fine-grained visual understanding and perception, achieving 71.67% on MMVP compared to 66.67% with Qwen2.5-VL. Code base and model weights will be released later.