核心发现
方法论
本文设计了OckBench，涵盖数学、编码和科学推理，利用差异筛选策略挑选高变异性题目，结合准确率与Token消耗，提出OckScore指标。通过对37个模型的评估，分析模型在推理路径、Token使用和效率上的差异，揭示开源与商业模型在Token效率上的系统性差距。采用贪婪解码确保结果稳定，结合精确匹配和单元测试验证答案，确保评估的公平性与实用性。
关键结果
- 实验显示，开源模型在相似准确率下平均Token消耗比商业模型高26倍，例如DeepSeek-V4-Flash在82.5%准确率时平均耗时83.6k Token，而GPT-5.4仅需3.2k Token。
- 模型容量提升显著改善Token效率，Qwen3.5从9B到397B参数，准确率从21.5%提升至67.5%，同时平均Token数减少4.4倍，体现模型推理密度的提升。
- 提出Per-Token Intelligence概念，强调模型应在保证正确率的基础上，减少不必要的Token，避免“过度思考税”，优化推理路径，提升实际部署成本效益。
研究意义
本研究突破了传统只关注准确率的评估范式，强调Token效率作为模型智能的重要指标。通过系统性量化推理中的Token消耗差异，为模型优化提供明确方向，推动高效推理模型的研发。该方法有助于降低部署成本、提升响应速度，具有广泛的工业应用潜力，尤其在大规模推理任务和边缘计算场景中意义重大。
技术贡献
引入基于Token消耗的联合评估指标OckScore，结合差异筛选策略，系统性揭示模型在推理路径上的Token效率差异。提出Per-Token Intelligence概念，强调模型在保证准确率的同时，应优化推理密度。设计了跨模型、跨任务的多域基准，涵盖数学、编码和科学推理，为模型推理效率提供标准化评估工具。实现了模型训练与推理策略的优化路径，包括模型插值与难度感知强化学习，推动模型在推理密度上的提升。
新颖性
首次提出结合准确率与Token效率的联合评估框架，系统性揭示开源与商业模型在推理路径上的效率差异。引入差异筛选策略，专注于高变异性题目，强化效率差距的检测。提出Per-Token Intelligence概念，强调推理密度作为模型智能的核心指标，超越传统性能指标，推动模型在实际部署中的优化。
局限性
- 评估基于特定任务和数据集，可能未覆盖所有推理场景，未来需扩展多样化任务。
- 模型插值与强化学习路径虽有效，但仍存在训练成本高、泛化能力有限的问题。
- 对大模型的Token效率优化仍面临硬件限制，未来需结合硬件感知优化策略。
未来方向
未来将探索多任务、多模态场景下的Token效率优化，结合硬件感知与自适应推理策略，推动模型在实际应用中的高效部署。同时，计划扩展基准题库，涵盖更多复杂推理任务，完善效率评估体系，促进模型在多样化场景中的泛化能力提升。
AI 总览摘要
随着大规模语言模型（LLMs）如GPT-5和Gemini 3的不断发展，模型在推理和代码生成方面取得了显著突破。然而，现有评估体系主要关注模型的准确率和输出质量，忽视了推理过程中的Token使用效率。实际上，模型在完成相同任务时，Token消耗差异可高达26倍，严重影响部署成本和响应速度。为解决这一问题，本文提出了OckBench，一种结合准确率与Token效率的联合评估基准。通过筛选高变异性题目，利用差异筛选策略，OckBench能够揭示模型在推理路径上的效率差距，并引入OckScore指标，量化模型的推理密度。实验结果显示，开源模型在Token效率上普遍落后于商业模型，且模型容量提升显著改善Token利用率。研究还提出了Per-Token Intelligence概念，强调模型应在保证正确率的同时，减少不必要的Token，避免“过度思考税”。这些发现为未来模型优化提供了明确的方向，即在追求高准确率的同时，注重推理路径的简洁与密度。整体而言，本文推动了模型评估范式的转变，为高效推理模型的研发提供了理论基础和实践工具，有助于降低部署成本、提升响应速度，具有重要的工业应用价值。
深度分析
研究背景
近年来，随着深度学习和大模型技术的发展，LLMs在自然语言理解、推理和生成任务中表现出色。代表性工作包括GPT系列、BERT、T5等模型，推动了自动推理和代码生成的边界。然而，模型的推理路径长、Token消耗大成为实际部署中的瓶颈。现有评估体系如HELM、Chatbot Arena主要关注输出质量，忽视Token效率，导致模型在实际应用中存在“冗余”问题。近期研究如Chain-of-Thought、DART、ConciseR等尝试优化推理路径，但缺乏统一、硬件无关的评估标准。本文旨在填补这一空白，提出系统性量化Token效率的评估框架，为模型优化提供量化依据。
核心问题
当前大模型在推理过程中，Token消耗差异巨大，导致部署成本高昂。模型在达到相似准确率时，Token使用差异可达26倍，反映出推理路径的低效。传统评估只关注最终输出正确率，忽略了推理过程中的冗余信息，难以指导模型在实际场景中的优化。如何在保证模型性能的同时，减少Token消耗，提升推理密度，成为亟需解决的核心问题。特别是在边缘设备和大规模应用中，Token效率直接关系到响应速度和能耗成本。
核心创新
本文的主要创新包括：1）提出结合准确率与Token消耗的联合评估指标OckScore，量化模型推理的密度；2）设计差异筛选策略，挑选高变异性题目，突出效率差距；3）引入Per-Token Intelligence概念，强调推理路径的密集性；4）构建跨领域、多任务的基准体系，涵盖数学、编码和科学推理，为模型推理效率提供标准化评估工具；5）提出模型插值和难度感知强化学习路径，优化推理路径，提升Token利用率。这些创新突破了传统只关注准确率的评估范式，为模型在实际部署中的高效性提供理论支撑。
方法详解
- �� 设计多领域推理题库，包括数学（GSM8K、AIME、OlympiadBench）、编码（MBPP、LiveCodeBench）和科学（ScienceQA、GPQA）等，确保任务多样性。• 利用差异筛选策略，从模型输出Token长度分布中筛选出变异性最大的题目，突出效率差异。• 采用贪婪解码（温度为0）确保结果稳定，结合精确匹配和单元测试验证答案正确性。• 提出OckScore指标，结合准确率与Token数的对数惩罚，优先考虑正确且简洁的答案。• 评估37个模型（包括商业和开源模型），分析Token消耗、推理路径和模型容量的关系，验证Per-Token Intelligence的有效性。• 通过模型插值和难度感知强化学习，优化推理路径，提升Token密度。• 采用多次实验确保结果的统计显著性，分析Token分布和效率趋势。• 结合实际部署场景，估算Token成本，验证评估指标的实用性。
实验设计
实验在37个模型上进行，使用固定的200题基准集，确保筛选题目能最大程度展现Token效率差异。采用贪婪解码，确保输出一致性。对每个模型，记录完整输出Token数，包括推理过程和最终答案。通过比较不同模型在相似准确率下的Token消耗，分析效率差距。引入模型容量指标，分析模型规模与Token效率的关系。利用模型插值和强化学习，验证优化路径的有效性。对不同任务类别（数学、编码、科学）进行单独分析，确保结果的代表性。采用统计分析方法，确保差异显著性，验证模型推理路径的密集性与效率。最后，将结果与实际部署成本结合，评估模型在实际场景中的应用潜力。
结果分析
实验结果显示，开源模型在相似准确率下Token消耗远高于商业模型。例如，DeepSeek-V4-Flash在82.5%准确率时平均耗83.6k Token，而GPT-5.4仅需3.2k Token，差距达26倍。模型容量提升显著改善Token效率，Qwen3.5由9B到397B参数，准确率从21.5%提升至67.5%，同时平均Token数减少4.4倍。引入Per-Token Intelligence概念，强调模型应在保证正确率的基础上，减少冗余Token，避免“过度思考税”。此外，模型插值和强化学习路径有效提升推理密度，验证了优化策略的实用性。分析还发现，模型在难度较高题目上Token消耗增加，但存在“过度思考”现象，导致成本上升。整体结果强调Token效率在模型性能中的核心作用，推动模型在实际部署中的优化。
应用场景
该基准适用于模型开发者优化推理路径，降低部署成本，提升响应速度。可在自动问答、智能客服、科学计算等场景中应用，帮助模型在保证准确率的同时，减少Token消耗，提升用户体验。未来，结合硬件感知和自适应推理策略，有望实现更高效的模型部署。长远来看，推动模型在边缘设备和大规模应用中的普及，降低能耗，提升可持续性，具有重要行业价值。
局限与展望
当前评估基于特定任务和数据集，可能未覆盖所有推理场景。模型插值和强化学习路径虽有效，但训练成本较高，泛化能力有限。硬件感知优化尚未充分结合，未来需融合硬件特性以实现更优推理效率。模型在极端复杂任务中的Token效率表现仍有待提升，未来需探索更深层次的推理压缩技术。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，菜谱越复杂，步骤越多，耗时也越长。有些厨师会用简洁的方法快速做出美味菜肴，而有些厨师可能会重复多次，浪费时间和材料。大模型也是如此：它们在解决问题时，有的路径很短，效率高；有的路径却很长，浪费了很多Token（就像时间和材料）。这篇研究就像是在找出最聪明、最节省材料的厨师，让他们用最少的Token做出正确的答案。研究发现，很多模型虽然能达到相似的准确率，但Token的使用差异巨大，就像不同厨师做同一道菜耗费的时间不同。通过设计一个新标准（OckBench），可以衡量模型在保证正确的同时，是否用最少的Token。这样，未来的模型就能更快、更便宜地工作，就像找到了一条既快又省材料的厨房秘籍。
简单解释 像给14岁少年讲一样
想象你在学校里解数学题，有的学生用很少的步骤就能答对，而有的学生可能会写很多步骤，甚至重复做一些没用的。虽然他们都答对了，但用的时间和纸张差很多。大模型也是这样，有的模型能用很少的Token就找到答案，有的模型却会说很多话，浪费Token。这个研究就是在找出那些用少Token又答对的模型，让它们变得更聪明、更节省资源。研究发现，很多模型在答题时会“绕弯路”，用很多Token，但其实可以更简洁。通过设计一种新方法（OckBench），可以评估模型在答题时的Token用量和正确率，帮助开发者让模型变得更聪明、更节省成本。这样，未来的AI就能像聪明的学生一样，既快又省力，帮我们节省时间和资源。
原文摘要
Large language models (LLMs) such as GPT-5 and Gemini 3 have pushed the frontier of automated reasoning and code generation. Yet current benchmarks emphasize accuracy and output quality, neglecting a critical dimension: efficiency of token usage. The token efficiency is highly variable in practical. Models solving the same problem with similar accuracy can exhibit up to a \textbf{5.0$\times$} difference in token length, leading to massive gap of model reasoning ability. Such variance exposes significant redundancy, highlighting the critical need for a standardized benchmark to quantify the gap of token efficiency. Thus, we introduce OckBench, the first benchmark that jointly measures accuracy and token efficiency across reasoning and coding tasks. Our evaluation reveals that token efficiency remains largely unoptimized across current models, significantly inflating serving costs and latency. These findings provide a concrete roadmap for the community to optimize the latent reasoning ability, token efficiency. Ultimately, we argue for an evaluation paradigm shift: tokens must not be multiplied beyond necessity. Our benchmarks are available at https://ockbench.github.io/.