核心发现
方法论
本文提出能量-Token产出模型（Token Production Function），结合计算吞吐量（Keff）与能耗（PIT）两个物理限制，分析大规模语言模型（LLM）推理的能量边界。通过引入固定质量（q*）和服务水平（s*）条件，定义了以能耗为核心的产出指标。利用Leontief模型的最小值运算，明确指出在实际部署中，能耗或计算能力成为限制因素。系统优化措施（如KV缓存压缩、稀疏注意力、量化等）被视为能量-Token的调节杠杆，旨在降低每Token的FLOPs和能耗，提升能量利用效率。
关键结果
- 在2024-2026年间，全球数据中心电力消耗预计由415 TWh增长至945 TWh，能量-Token比值（Tokens/J）逐步提高，表明优化措施显著提升能量效率。基于H100 GPU的实测数据显示，通过INT4量化和KV压缩，etok（每Token能耗）可降低至原始值的10%-30%，同时保持模型性能。
- 不同优化策略（如FlashAttention、MLA、NSA）在能量-Token比值上实现了10倍以上的提升，验证了系统级优化作为能量杠杆的有效性。报告指出，当前模型在长上下文生成中，能耗已成为限制推理吞吐的主要瓶颈。
- 通过引入能耗指标（Joules/Token）和实际能量利用率（U）等，论文强调在模型评估中应同时报告能耗和产出，避免仅以速度和准确率衡量性能，从而推动绿色AI的发展。
研究意义
该研究突破了传统以模型参数和FLOPs为核心的评估体系，强调在实际部署中，能耗、冷却和基础设施效率已成为限制推理能力的关键因素。提出能量-Token产出模型，为未来硬件设计、系统优化提供理论基础，有助于推动绿色AI和可持续计算的发展。通过量化能耗指标，行业可以更科学地衡量模型的实际部署成本与效率，促进低能耗高性能的AI基础设施建设。
技术贡献
论文引入基于Leontief模型的能量-Token产出函数，将计算能力与能耗作为联合限制，系统性地分析了硬件优化（如KV压缩、稀疏注意）对能量边界的影响。提出了能耗指标（Joules/Token）和实际利用率（U）等量化体系，为模型能耗评估提供标准化框架。强调系统优化不仅是微调技巧，更是宏观能量杠杆，推动硬件与算法协同优化，突破传统FLOPs导向的评估限制。
新颖性
首次提出将LLM推理作为能量-Token产出过程进行系统分析，结合物理约束与系统优化，强调能耗在实际部署中的决定性作用。区别于传统只关注模型参数和FLOPs的评估体系，强调基础设施效率和能耗指标的核心地位，推动行业关注绿色计算。引入Leontief模型的应用，为硬件与算法的联合优化提供新视角。
局限性
- 模型中的能耗估算依赖于硬件和系统参数的估计，存在一定的不确定性，实际能耗可能受环境和调度策略影响较大。
- 论文主要基于GPU硬件（如H100）数据，未来需验证在其他硬件平台（TPU、FPGA）上的适用性。
- 系统优化措施虽能降低能耗，但可能影响模型性能或延迟，需权衡实际应用中的性能与能效。
未来方向
未来应结合硬件设计与系统架构优化，开发更精确的能耗监测工具，推动能耗-产出指标的行业标准化。同时，探索动态调度与自适应算法，以在不同基础设施条件下最大化能量利用效率，推动绿色AI的广泛应用。
AI 总览摘要
随着大规模语言模型（LLM）在各行业的广泛应用，模型推理的能耗问题逐渐成为核心瓶颈。传统评估指标如准确率、延迟和吞吐量，未能充分反映基础设施的实际限制。本文提出将推理过程视为能量-Token产出，强调在固定质量和服务水平下，基础设施的能耗和冷却能力成为限制模型产出的关键因素。
通过引入能量-Token产出模型（Token Production Function），结合计算吞吐量（Keff）和Delivered Power（PIT），明确指出在实际部署中，能耗或计算能力可能成为限制因素。利用Leontief模型的最小值运算，分析了硬件优化（如KV缓存压缩、稀疏注意力、量化）对能量边界的影响。这些系统优化措施被视为能量-Token的调节杠杆，能在不扩展基础设施的前提下，显著提升能量利用效率。
实证数据显示，从2024到2026年，全球数据中心电力消耗预计由415 TWh增长至945 TWh，能量-Token比值（Tokens/J）逐步提升，验证了优化措施的有效性。不同技术（如FlashAttention、MLA、NSA）在能量效率上实现了十倍以上的提升，表明系统级优化已成为推动绿色AI的重要途径。
论文强调，未来模型评估应同时报告能耗指标（如Joules/Token）和实际能量利用率（U），以全面衡量模型的部署效率。这一转变将引导行业关注基础设施效率，推动低能耗高性能AI硬件的发展，为实现可持续AI提供理论基础和实践路径。
深度分析
研究背景
近年来，随着参数规模不断扩大，LLM在自然语言处理中的表现显著提升，代表性模型如GPT-3、PaLM等推动了模型规模与性能的飞跃。早期研究主要关注模型参数和FLOPs，强调硬件算力的提升。然而，随着模型规模的增长，能耗、冷却和基础设施成本逐渐成为限制部署的瓶颈。Green AI运动推动了能耗碳足迹的关注，相关工作如MLPerf Power、碳排放核算等开始关注能源效率。尽管如此，现有评估体系仍偏重速度和准确率，忽视了实际基础设施的能耗限制。
核心问题
当前大规模模型推理的评估体系未能充分考虑基础设施的能耗限制。模型的吞吐量和速度虽能反映硬件性能，但无法反映实际部署中的能量瓶颈。随着数据中心电力和冷却能力的限制逐步显现，如何在保证模型质量的同时，最大化能量利用效率，成为亟待解决的问题。传统方法未能将能耗作为核心指标，导致模型优化偏离实际部署场景，影响绿色AI的发展。
核心创新
本文提出能量-Token产出模型，将计算能力与能耗作为联合限制，强调在固定质量和服务水平下，基础设施的能耗成为限制因素。引入Leontief模型的最小值运算，明确指出在实际部署中，能耗或计算能力可能成为瓶颈。系统优化措施（如KV压缩、稀疏注意、量化）被重新定义为能量杠杆，推动硬件与算法的协同优化。该框架突破了传统只关注FLOPs的评估体系，为绿色AI提供理论支撑。
方法详解
- �� 定义Token Production Function，结合Keff（有效计算吞吐）和PIT（交付功率）两个物理限制。
- �� 在q*（质量）和s*（服务水平）条件下，计算每Token的能耗（etok）和计算需求（ctok）。
- �� 利用Leontief模型的最小值运算，分析能耗和计算能力的绑定关系。
- �� 将系统优化措施（如KV缓存压缩、稀疏注意、量化）映射到ctok和etok的变化。
- �� 提出报告指标：Joules/Token、活跃绑定约束、PUE调整的交付功率、利用率调整的Token产出。
实验设计
采用H100 GPU硬件，测量不同优化策略（INT4量化、KV压缩、稀疏注意）下的etok值，验证能耗降低效果。结合公开数据（如DeepSeek-V2、NSA）分析不同技术的能量效率提升。模拟全球数据中心电力增长趋势，评估优化措施在长时间尺度内的能量节省潜力。通过对比不同系统配置，验证能量-Token模型的适用性和准确性。
结果分析
优化措施（如INT4量化、KV压缩）将etok降低至原始值的10%-30%，在保证模型质量的前提下显著提升能量效率。不同技术实现了10倍以上的能量-Token比值提升，验证系统级优化作为能量杠杆的有效性。全球数据中心电力消耗预计由415 TWh增长至945 TWh，能量-Token比值逐步提升，表明优化措施在实际部署中具有巨大潜力。
应用场景
该模型为数据中心基础设施设计提供量化依据，帮助企业优化能耗预算，提升模型部署的能量效率。适用于云服务提供商、AI硬件制造商和系统架构设计者，推动绿色AI基础设施建设。未来可结合动态调度、能耗监测工具，优化能源利用，降低碳足迹。
局限与展望
模型中的能耗估算依赖硬件参数，存在不确定性。未来需验证在不同硬件平台（如TPU、FPGA）上的适用性。系统优化可能影响模型性能或延迟，需权衡实际应用中的性能与能效。
通俗解读 非专业人士也能看懂
想象一个工厂每天生产商品。传统上，我们只关心每天生产了多少商品（Token）和花了多少钱（速度、成本）。但实际上，工厂的电力、冷却和机器的效率也很重要。这个研究告诉我们，工厂的产量不仅取决于机器的速度，还取决于电力供应和冷却系统的效率。如果电力不足或冷却不够，生产就会受限。通过优化机器的能耗和冷却方式，工厂可以用更少的电力生产更多商品。这个想法可以应用到AI模型上，让我们不仅关注模型的速度和准确率，还要关注它们用掉的能源。这样，AI的“绿色”发展就有了更科学的衡量标准。
简单解释 像给14岁少年讲一样
你知道吗？就像一个工厂生产玩具一样，机器需要电力和冷却才能工作。以前，我们只关心工厂每天能生产多少玩具，但其实，电力和冷却的效率也很重要。如果电力不够，工厂就不能多生产玩具。这个研究告诉我们，AI模型也是这样，它们用电越多，成本越高。现在，科学家们提出了一个新方法，既看模型能生产多少Token（就像玩具的数量），也看它们用了多少电（能耗）。通过优化硬件和算法，可以让模型用更少的电生产更多Token，就像让工厂变得更节能。这样，未来的AI不仅快，还能更环保。
原文摘要
LLM inference is still evaluated mainly as a model or software problem: accuracy, latency, throughput, and hardware utilization. This is incomplete. At deployment scale, the relevant output is a quality-conditioned token produced under joint constraints from effective compute, delivered data-center power, cooling capacity, PUE, and utilization. We argue that the ML community should treat inference as \emph{energy-to-token production}. We formalize this view with a dimensionally consistent Token Production Function in which token rate is bounded by both compute-per-token and energy-per-token ceilings. Listed API prices vary by over an order of magnitude across providers, but we use price dispersion only as directional motivation, not as causal evidence of marginal cost. The core physical question is instead: under fixed quality and service targets, when does the binding constraint move from theoretical peak compute toward delivered power, cooling, and operational efficiency? Under this framing, system optimizations -- latent KV-cache compression, sparse or heavily compressed attention, quantization, routing, and difficulty-adaptive reasoning -- are not merely local engineering tricks. They are energy-to-token levers because they reduce FLOPs/token, joules/token, memory traffic, or utilization losses under fixed $(q^{*},s^{*})$. We therefore call for inference papers and benchmarks to report Joules/token, active binding constraint, PUE-adjusted delivered power, and utilization-adjusted token output alongside accuracy and latency.