核心发现
方法论
TON采用两阶段训练策略：首先在监督微调（SFT）阶段引入“思考丢弃”操作，随机用空白思考替代推理轨迹，形成冷启动的选择性推理格式；随后在GRPO强化学习阶段，模型自主探索何时进行推理，通过最大化任务奖励优化策略。该方法结合了规则驱动的奖励机制和自我探索，显著提升推理效率。具体算法包括“Thought Dropout”随机替换推理内容，以及基于相对策略优化（GRPO）进行策略调整。实验中，TON在多个任务（如GSM8K、CLEVR、GeoQA、AITZ）上表现优异，推理长度减少最高达90%，而性能不降反升。
关键结果
- 在CLEVR和GeoQA任务中，TON将推理长度分别缩短87%和65%，同时在GeoQA中准确率提升17%。在多步骤导航任务AITZ中，输出长度从3.6K缩减至0.9K，节省70%的推理成本。模型在不同规模（3B、7B）和任务难度下均表现出良好的泛化能力。实验还显示，模型逐步学会跳过不必要的推理步骤，训练过程中跳过比例逐渐增加，验证了策略的自适应性。
- 通过在多个基准任务上的对比，TON在保持或提升准确率的同时，大幅度减少推理轨迹长度，验证了“何时推理”的策略有效性。特别是在GeoQA中，短推理反而带来性能提升，显示出“免费午餐”效应。多域和OOD测试进一步证明其强泛化能力，模型能在不同场景中灵活应用选择性推理策略。
- 消除冗余推理步骤不仅提升了推理效率，也改善了模型的推理质量，减少了计算成本，为未来大规模视觉-语言模型的高效部署提供了新思路。
研究意义
该研究突破了传统强化学习在视觉-语言模型中的推理效率瓶颈，提出“何时推理”的策略，模拟人类思维中根据难度调整认知努力的机制。显著降低推理成本的同时，保持甚至提升模型性能，为智能系统的实用化奠定基础。此方法不仅适用于多模态任务，也为单模态大模型的推理优化提供借鉴，推动AI向更接近人类思维的方向发展。未来，结合更复杂的奖励机制和多任务训练，有望实现更智能、更高效的认知策略。
技术贡献
本研究首次系统性引入“思考与不思考”决策机制，结合“Thought Dropout”与GRPO策略优化，实现在推理过程中自主选择跳过不必要步骤。算法创新点包括：1）在监督微调阶段引入随机空白思考，训练模型识别何时跳过推理；2）在强化学习阶段，通过相对策略优化（GRPO）实现策略自我探索，最大化任务奖励。技术上，模型在多模态任务中实现了推理长度的显著缩减，且在不同模型规模和任务难度下均表现出良好的适应性。该方法为RL在推理效率提升中的应用提供了新范式。
新颖性
本工作首次提出“何时推理”的策略，突破了以往全程推理的限制，创新性地结合Thought Dropout和GRPO实现选择性推理。不同于传统方法依赖规则或外部控制，本研究通过模型自我探索和格式引导，动态调节推理轨迹，开启了RL在推理效率优化中的新方向。这种策略的引入，为未来智能系统实现更接近人类思维的认知模式提供了理论基础。
局限性
- 当前方法依赖于预训练模型的推理能力，可能在极端复杂或模糊任务中表现不足。模型在训练过程中对跳过比例的控制还不够精细，可能导致部分复杂任务被误判为无需推理。推理跳过策略的泛化能力在极少样本或新领域中仍需验证。此外，训练过程中的探索成本较高，未来需优化训练效率和奖励设计，以适应更大规模和更复杂的场景。
未来方向
未来将结合多模态信息增强策略的鲁棒性，探索更智能的奖励机制以提升策略的自适应性。同时，考虑引入多任务学习和迁移学习，增强模型在新任务和新场景中的推理选择能力。此外，结合人类认知模型，模拟更复杂的思维调节机制，实现更自然的人类式推理策略。还计划将该方法应用于实际场景，如智能助手、自动驾驶等，推动AI系统的高效智能化发展。
AI 总览摘要
在人工智能的发展中，推理能力一直是衡量模型智能水平的核心指标。传统的视觉-语言模型（VLM）通过大量训练实现复杂推理，但其推理过程往往冗长且低效，尤其在面对简单任务时仍然执行完整推理链，造成资源浪费。为解决这一问题，本文提出了“Think-or-Not（TON）”框架，旨在让模型自主判断何时进行推理，从而大幅度缩短推理轨迹，提升效率。
TON采用两阶段训练策略：首先在监督微调（SFT）阶段引入“Thought Dropout”机制，随机用空白思考替代推理内容，训练模型识别何时跳过推理；随后在强化学习（GRPO）阶段，模型通过自我探索，学习在不同任务难度下动态选择推理与否。该方法结合了规则奖励和策略优化，显著减少推理长度，最高达90%，同时保持甚至提升了模型的准确性。
在多个任务（如GSM8K、CLEVR、GeoQA、AITZ）上的实验结果显示，TON不仅在推理效率上优于传统方法，还具备良好的泛化能力。特别是在GeoQA中，短推理反而带来17%的性能提升，验证了“少即是多”的策略优势。这一创新为未来大规模多模态模型的高效推理提供了新思路，推动AI向更接近人类认知的方向发展。
然而，仍存在模型在极端复杂场景下的推理判断不足、训练成本较高等局限。未来的研究将聚焦于奖励机制优化、多任务迁移学习及实际应用落地，期待实现更智能、更高效的认知系统。
深度分析
研究背景
视觉-语言模型（VLM）近年来经历了快速发展，代表性工作如ViLT、LXMERT、UNITER等，通过大规模预训练实现了多模态理解。早期研究主要关注跨模态特征融合和基础推理能力，采用链式推理（Chain-of-Thought）等方法增强模型推理能力，但推理过程普遍存在冗长、低效的问题。近年来，强化学习（RL）在提升推理质量方面取得一定突破，如GRPO通过奖励多样推理路径，优化答案质量。然而，这些方法仍未解决推理链过长带来的计算资源浪费问题，尤其在简单任务中表现出过度推理的弊端。
核心问题
核心问题在于现有模型普遍采用全程推理策略，忽视了不同任务复杂度的差异，导致资源浪费和推理效率低下。尤其在面对简单问题时，模型仍执行完整推理链，增加了不必要的计算开销。如何让模型自主判断何时进行推理，何时直接给出答案，成为提升效率的关键。该问题难点在于推理决策的自动化和训练策略的设计，既要保证答案准确，又要减少冗余推理步骤，兼顾模型的泛化能力和适应性。
核心创新
本研究的创新点包括：1）引入“Thought Dropout”机制，在微调阶段随机用空白内容替代推理轨迹，训练模型识别何时跳过推理；2）在强化学习阶段，结合GRPO实现策略自我探索，动态调整推理行为，最大化任务奖励。该方法突破了传统全程推理的限制，首次实现模型在不同任务中自主选择推理与否，极大提升推理效率。创新性在于将“推理是否必要”作为模型学习的核心决策，模拟人类根据任务难度调整认知努力的行为。
方法详解
- �� 在监督微调（SFT）阶段，模型通过引入Thought Dropout，将部分推理轨迹随机替换为空白，训练模型识别无需推理的场景；
- �� 设计“思考或不思考”格式，引导模型学习在不同任务中自主选择推理路径；
- �� 在强化学习（GRPO）阶段，模型采样多组响应，利用奖励机制评估推理的必要性，采用相对策略优化（GRPO）调整策略参数；
- �� 通过奖励设计，模型在回答正确的同时，学习跳过不必要的推理步骤，逐步形成“何时推理”的决策能力；
- �� 实验中，结合多个任务（GSM8K、CLEVR、GeoQA、AITZ）验证策略的有效性，分析跳过比例与性能的关系。
实验设计
实验采用Qwen-2.5-VL系列模型，覆盖3B和7B规模，评估任务包括数学推理（GSM8K）、几何计数（CLEVR、Super-CLEVR）、地理问答（GeoQA）及多步骤导航（AITZ）。训练过程中，先在微调阶段引入Thought Dropout，随机丢弃推理内容，然后在强化学习阶段采用GRPO优化策略。指标包括推理长度、准确率和训练时间，特别关注推理长度的缩减效果。对比基线包括全程推理的GRPO和微调模型，进行 ablation 以验证跳过比例与性能关系。多域和OOD测试验证模型泛化能力。
结果分析
TON在CLEVR和GeoQA任务中，推理长度分别缩短87%和65%，同时准确率提升17%。在AITZ多步骤导航中，输出长度从3.6K降至0.9K，节省70%推理成本。模型在不同规模和任务难度下表现稳定，验证了“何时推理”的策略有效性。跳过比例逐步增加，模型逐渐学会跳过简单任务的推理步骤，训练过程中奖励与推理长度呈负相关。多任务和多域测试显示，TON具有良好的泛化能力和适应性。
应用场景
该方法适用于需要高效推理的多模态系统，如智能助手、自动驾驶、机器人等。通过自动判断推理必要性，显著降低计算成本，提升响应速度。未来可结合实际场景中的复杂奖励机制，优化模型在真实环境中的表现，推动AI在资源受限场景中的应用。
局限与展望
当前模型在极端复杂或模糊任务中可能误判推理必要性，导致答案不准确。推理跳过策略在新领域和少样本场景下的泛化能力仍需验证。训练成本较高，尤其在多任务、多域环境中，探索策略的效率有待提升。此外，模型对推理跳过的解释性不足，未来需增强可解释性和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，有些菜很简单，只需要把食材放进锅里就可以了，不需要复杂的步骤。而有些菜很复杂，需要多次调味、炒、焯水，步骤很多。这个研究就像教厨师判断什么时候只用简单方法，什么时候需要复杂步骤。传统的厨师（模型）总是把所有菜都用复杂方法做，浪费时间和材料。新方法让厨师学会根据菜的难度，决定用不用复杂步骤。这样既快又省力，还能做出好菜。模型就像这个厨师，学会了“什么时候推理（复杂步骤）”，什么时候直接给出答案（简单菜），大大提高效率。
简单解释 像给14岁少年讲一样
你知道吗，有时候我们做事情不用每次都走复杂的流程。比如，简单的数学题，直接用脑袋一算就行，不需要写出详细的步骤。而复杂的问题，比如做一道复杂的菜，需要很多步骤和调料。这个研究就像教电脑学会判断：这道题是不是很难？如果不难，就直接给答案，不用走一遍繁琐的推理过程。这样可以节省时间和计算资源。研究中，科学家让电脑学会在推理时“跳过”不必要的步骤，就像我们在厨房里判断：这菜不用炒太久，直接上菜就行。结果发现，这样做不仅快，还能让电脑答题更准确。未来，这种方法可以让我们的智能助手更聪明、更快，帮我们节省很多时间！
原文摘要
Reinforcement Learning (RL) has proven to be an effective post-training strategy for enhancing reasoning in vision-language models (VLMs). Group Relative Policy Optimization (GRPO) is a recent prominent method that encourages models to generate complete reasoning traces before answering, leading to increased token usage and computational cost. Inspired by the human-like thinking process-where people skip reasoning for easy questions but think carefully when needed-we explore how to enable VLMs to first decide when reasoning is necessary. To realize this, we propose TON, a two-stage training strategy: (i) a supervised fine-tuning (SFT) stage with a simple yet effective 'thought dropout' operation, where reasoning traces are randomly replaced with empty thoughts. This introduces a think-or-not format that serves as a cold start for selective reasoning; (ii) a GRPO stage that enables the model to freely explore when to think or not, while maximizing task-aware outcome rewards. Experimental results show that TON can reduce the completion length by up to 90% compared to vanilla GRPO, without sacrificing performance or even improving it. Further evaluations across LLM (GSM8K), VLM (CLEVR, Super-CLEVR, GeoQA), and Agentic (AITZ) tasks-covering a range of reasoning difficulties under both 3B and 7B models-consistently reveal that the model progressively learns to bypass unnecessary reasoning steps as training advances. These findings shed light on the path toward human-like reasoning patterns in RL approaches. Our code is available at https://github.com/kokolerk/TON.