核心发现
方法论
LIMO采用精心设计的800个高质量样本，通过监督微调激发模型的复杂推理能力。数据筛选包括多阶段过滤，确保问题和推理链的高质量。模型基于Qwen2.5-32B-Instruct，使用DeepSpeed ZeRO-3优化和FlashAttention-2技术。
关键结果
- 结果1: 在AIME24基准上准确率达到63.3%，显著超越之前的微调模型（6.5%）。
- 结果2: 在MATH500基准上取得95.6%的准确率，比QwQ-32B-Preview的89.8%高出5.8个百分点。
- 结果3: 在跨分布基准上，LIMO在CHMath上取得84.2%的准确率，比基线模型提升45.8%。
研究意义
研究表明，通过精简但高质量的数据可以激发模型的复杂推理能力，减少数据需求和计算成本。这为数据效率研究提供了新的方向，同时对学术界和工业界的推理任务具有重要意义。
技术贡献
提出了LIMO假设，强调预训练知识的完整性和训练样本的质量对推理能力的激发作用。通过精心设计的数据筛选流程和高效微调方法，显著提升了模型的推理性能。
新颖性
首次系统性验证了复杂推理任务中“少即是多”的假设，提出了基于高质量样本的精简数据训练方法，显著减少了数据需求。
局限性
- 局限1: 方法依赖预训练模型的知识完整性，较弱的预训练模型可能无法充分激发推理能力。
- 局限2: 数据筛选过程复杂且耗时，对小型团队可能不够友好。
- 局限3: 当前实验主要集中于数学推理，其他领域的适用性尚需验证。
未来方向
未来可探索将LIMO方法扩展到多领域推理任务，优化数据筛选流程以降低成本，并研究如何进一步提升跨语言和跨分布的泛化能力。
AI 总览摘要
复杂推理一直是大语言模型的难点，传统方法依赖大量训练数据，导致计算成本高昂。LIMO模型提出了一种新颖的解决方案，通过精简但高质量的数据激发模型的推理能力。基于Qwen2.5-32B-Instruct模型，LIMO通过800个精心设计的样本进行监督微调，在AIME24和MATH500基准上分别取得63.3%和95.6%的准确率，显著超越使用大量数据的模型。
实验结果表明，LIMO不仅在训练数据分布内表现优异，还在跨分布基准上展现了强大的泛化能力，例如在CHMath基准上取得了84.2%的准确率。这验证了“少即是多”的推理假设，即通过高质量的样本可以有效激发模型的复杂推理能力。
尽管LIMO方法在数学推理领域表现出色，但其依赖于预训练模型的知识完整性，且数据筛选过程复杂。未来研究方向包括扩展到多领域任务、优化数据筛选流程，以及提升跨语言和跨分布的泛化能力。
深度解读
原文摘要
We challenge the prevailing assumption that complex reasoning in large language models (LLMs) necessitates massive training data. We demonstrate that sophisticated mathematical reasoning can emerge with only a few examples. Specifically, through simple supervised fine-tuning, our model, LIMO, achieves 63.3\% accuracy on AIME24 and 95.6\% on MATH500, surpassing previous fine-tuned models (6.5\% on AIME24, 59.2\% on MATH500) while using only 1\% of the training data required by prior approaches. Furthermore, LIMO exhibits strong out-of-distribution generalization, achieving a 45.8\% absolute improvement across diverse benchmarks, outperforming models trained on 100x more data. Synthesizing these findings, we propose the Less-Is-More Reasoning Hypothesis (LIMO Hypothesis): In foundation models where domain knowledge has been comprehensively encoded during pre-training, sophisticated reasoning can emerge through minimal but strategically designed demonstrations of cognitive processes. This hypothesis suggests that the threshold for eliciting complex reasoning is not dictated by task complexity but rather by two key factors: (1) the completeness of the model's pre-trained knowledge base and (2) the effectiveness of post-training examples in serving as "cognitive templates" that guide reasoning.