核心发现
方法论
本文提出了ExtremBench基准测试，通过将中国数学奥林匹克的不等式题目转化为标准化的极值问题来评估LLM的优化推理能力。使用了Qwen3、GPT-OSS和DeepSeek等模型进行评估。
关键结果
- 结果1：GPT-OSS-120B在AIME25上表现优异，但在ExtremBench上仅达到70%的准确率，显示出一般数学推理与优化任务之间的差异。
- 结果2：Qwen3-14B在ExtremBench上的表现与Qwen3-235B相当，尽管参数数量少17倍，表明训练数据或架构选择比规模更重要。
- 结果3：DeepSeek-R1在两个基准测试中表现较差，显示出极值问题求解能力的独特性。
研究意义
研究揭示了当前数学基准测试未能全面捕捉LLM的数学推理能力，强调了需要专门的评估框架来识别不同的推理能力。这对于学术界和工业界的应用具有重要意义，尤其是在规划、控制和资源分配领域。
技术贡献
本文通过将难以验证的不等式证明转化为数值可验证的极值问题，提供了系统评估优化推理能力的新方法。这种转化方法为强化学习训练提供了新视角，并可能扩展到其他数学领域。
新颖性
这是首次系统评估LLM在极值问题求解中的能力，揭示了与现有数学基准测试的显著差异。与相关工作相比，本文提供了新的评估框架。
局限性
- 局限1：某些模型在一般数学推理上表现良好，但在优化任务中表现不佳，可能与训练数据集的选择有关。
- 局限2：当前基准测试未能全面评估LLM的优化推理能力。
未来方向
未来研究可以扩展ExtremBench以包括多目标优化、约束优化和离散优化问题，并探索LLM在科学计算和自动定理证明中的应用。
AI 总览摘要
当前数学基准测试未能全面评估LLM的数学推理能力，尤其是在优化推理领域。本文提出了ExtremBench基准测试，通过将中国数学奥林匹克的不等式题目转化为标准化的极值问题来评估LLM的优化推理能力。使用了Qwen3、GPT-OSS和DeepSeek等模型进行评估，结果显示这些模型在一般数学推理和优化任务之间存在显著差异。研究揭示了当前评估实践的盲点，强调了需要专门的评估框架来识别不同的推理能力。未来研究可以扩展ExtremBench以包括多目标优化、约束优化和离散优化问题，并探索LLM在科学计算和自动定理证明中的应用。
深度分析
研究背景
近年来，LLM在数学推理领域取得了显著进展，特别是在链式思维推理方面。然而，现有的数学基准测试如GSM8K和MATH-500主要关注代数操作和算术计算，而对优化推理的评估较少。优化推理在规划、控制和资源分配等领域具有重要应用，因此需要专门的评估框架来识别LLM的优化推理能力。
核心问题
核心问题是现有数学基准测试未能全面评估LLM的优化推理能力。极值问题需要识别约束边界、理解竞争目标之间的权衡，并识别最佳解决方案发生在临界点或边界时的能力。这些能力对于许多实际应用至关重要。
核心创新
本文的核心创新在于提出了ExtremBench基准测试，通过将不等式证明问题转化为极值问题来评估LLM的优化推理能力。这种转化方法保留了数学复杂性和推理要求，同时创建了一个标准化且易于验证的格式。
方法详解
- �� 使用中国数学奥林匹克的不等式题目作为源材料。
- �� 将不等式证明问题转化为极值问题，保留原始约束。
- �� 使用多种LLM模型进行评估，包括Qwen3、GPT-OSS和DeepSeek。
- �� 对转换后的问题进行手动验证，确保数学等价性。
实验设计
实验设计包括使用ExtremBench基准测试评估多种LLM模型的优化推理能力。使用了Qwen3、GPT-OSS和DeepSeek等模型，并在NVIDIA B200 GPU上进行推理。报告了三次重复试验的平均性能。
结果分析
实验结果显示，GPT-OSS-120B在AIME25上表现优异，但在ExtremBench上仅达到70%的准确率。Qwen3-14B在ExtremBench上的表现与Qwen3-235B相当，尽管参数数量少17倍。DeepSeek-R1在两个基准测试中表现较差，显示出极值问题求解能力的独特性。
应用场景
ExtremBench可以用于评估LLM在规划、控制和资源分配等领域的优化推理能力。这对于需要识别约束边界和理解目标权衡的应用场景尤为重要。
局限与展望
当前基准测试未能全面评估LLM的优化推理能力，某些模型在一般数学推理上表现良好，但在优化任务中表现不佳。未来研究可以扩展ExtremBench以包括多目标优化、约束优化和离散优化问题。
通俗解读 非专业人士也能看懂
想象一下你在厨房里做饭。你有很多食材，但要做出一道完美的菜肴，你需要找到最佳的组合。这就像解决数学中的极值问题一样，你需要在给定的条件下找到最优解。本文的研究就是在帮助计算机更好地解决这些问题。
简单解释 像给14岁少年讲一样
嘿，想象一下你在玩游戏，要在有限的时间内找到最好的策略。研究人员正在教计算机如何在复杂的数学问题中找到最佳答案，就像你在游戏中寻找最好的通关方法一样。这项研究让计算机变得更聪明，能够解决更复杂的问题！
术语表
ExtremBench
一个用于评估LLM优化推理能力的基准测试，转化自中国数学奥林匹克的不等式题目。
用于评估LLM在极值问题求解中的表现。
LLM
大型语言模型，能够进行复杂的语言理解和生成。
用于数学推理和优化问题求解。
优化推理
在给定约束条件下寻找极值的过程。
研究的核心能力评估对象。
Qwen3
一种用于评估LLM优化能力的模型家族。
在ExtremBench基准测试中表现优异。
GPT-OSS
一种大型语言模型，擅长一般数学推理。
在AIME25基准测试中表现优异。
开放问题 这项研究留下的未解疑问
- 1 当前基准测试未能全面评估LLM的优化推理能力，需要专门的评估框架。
- 2 如何扩展ExtremBench以包括多目标优化和离散优化问题。
应用场景
近期应用
规划与控制
使用LLM优化推理能力来改善自动化系统中的规划与控制。
远期愿景
资源分配
在复杂的资源分配问题中应用LLM的优化推理能力，以提高效率。
原文摘要
Test-time scaling has enabled Large Language Models (LLMs) with remarkable reasoning capabilities, particularly in mathematical domains, through intermediate chain-of-thought (CoT) reasoning before generating final answers. However, the specific sources and mechanisms underlying these reasoning capabilities remain insufficiently understood. Optimization reasoning, i.e. finding extrema under constraints, represents a fundamental abstraction that underpins critical applications in planning, control, resource allocation, and prompt search. To systematically evaluate this capability, we introduce ExtremBench, a benchmark dataset for solving mathematical extremal problems, curated from inequality exercises used for Chinese Mathematical Olympiad and transformed into $93$ standardized extrema-finding problems. We conduct extensive evaluations across various state-of-the-art open-source model families, including the Qwen3, GPT-OSS, and DeepSeek. Our results reveal that LLMs' extremal-solving reasoning capabilities do not always align with those of current mathematical benchmarks such as AIME25 and MATH-500, with some models showing strong general mathematical reasoning but poor extremal-solving skills, and vice versa. This discrepancy highlights a critical gap in current evaluation practices and suggests that existing benchmarks may not comprehensively capture the full spectrum of mathematical reasoning abilities.