核心发现
方法论
本文提出PowerSlider，结合阶段异构性特征，通过Prefill、Think、Answer三阶段的频率调节与KV缓存控制，实现对动态功率限制的实时优化。采用基于KKT条件的在线求解器，快速响应每次功率变化，确保系统在深度功率限制下仍能保持较高的吞吐率。核心机制包括Flex SLO合同将用户宽松度转化为优化约束，以及阶段拆分的Prefill-Think-Answer管线实现细粒度控制。实验中在Azure生产轨迹上，PowerSlider在30%功率削减下仍达78.3%的在线吞吐，优于五个基线的47.6%，且延迟尾部波动控制在1.3倍以内。
关键结果
- 在SGLang测试集上，PowerSlider实现了在30%功率限制下的78.3%吞吐率，显著优于传统静态调度方案（47.6%），提升1.64倍。即使在深度功率限制（底部0.41倍）时，系统仍保持92%的平均吞吐，显示出优异的适应能力。通过对不同负载和突发场景的验证，结果表明其调度策略能有效利用阶段异构性，减少能耗同时保证服务质量。
- 在应对电网紧急事件（CAISO模拟日）中，PowerSlider实现了超过98%的吞吐率，功率限制最低至0.41倍，表现优于所有对比方案（最低7%）。此外，系统在应对突发负载变化时，延迟尾部控制在1.3倍以内，显著优于传统方法（最高12倍），验证了其实时响应和鲁棒性。
- 通过消融实验，验证了阶段异构性控制（频率调节、KV缓存分配）对性能提升的关键作用。未采用阶段拆分或在线求解的方案，吞吐率下降超过50%，而引入PowerSlider后，调度效率和能耗利用率大幅改善。整体结果表明，基于阶段异构性和动态调度的优化策略是实现高效能耗管理的有效途径。
研究意义
该研究突破了传统静态能耗优化的局限，提出基于阶段异构性和实时优化的动态调度框架，为大规模LLM推理在电网调控下的高效运行提供了理论基础和工程方案。解决了在功率限制条件下如何最大化吞吐率和保证延迟尾部的难题，具有重要的工业应用价值。特别是在电力需求响应日益严格的背景下，为云端AI服务提供了可行的能耗调控策略，有助于推动绿色计算和可持续发展。该方法的推广还可能影响边缘计算、智能调度等多个领域，具有广泛的应用前景。
技术贡献
本文的主要技术贡献包括：1）提出阶段异构性调度模型，充分利用Prefill、Think、Answer阶段的频率敏感性差异，实现能耗与性能的最优平衡；2）设计基于KKT条件的在线求解器，快速响应动态功率变化，确保调度实时性；3）引入Flex SLO合同，将用户宽松度转化为优化约束，有效利用服务弹性；4）实现多粒度调度控制，包括GPU频率调节、KV缓存分配和任务调度，形成完整的动态调度框架。这些创新突破了现有静态或粗粒度调度方案的限制，为实时能耗管理提供了新的技术路径。
新颖性
本研究首次提出将阶段异构性特征融入动态功率调控，结合实时优化算法，实现对LLM推理流程的细粒度调度控制。不同于以往只关注整体能耗或静态配置的方案，PowerSlider通过阶段拆分和在线求解，动态调整GPU频率和KV缓存，显著提升深度功率限制下的吞吐率和延迟控制能力。这一创新点在学术和工业界均属首次，填补了大规模LLM推理在需求响应环境中的调度空白。
局限性
- 系统在极端静态功率底限（如静态功耗占比高的硬件）下，调度空间受限，性能提升有限。未来需结合硬件电源管理技术（如电源门控）进一步优化。
- 调度算法依赖实时求解，存在一定计算开销，在极端高负载或频繁变化场景中可能影响响应速度。未来可考虑更高效的近似算法或硬件加速。
- 当前模型主要在GPU架构和特定推理任务上验证，迁移到不同硬件平台或多模态任务时，需重新调优参数和策略。
未来方向
未来将结合硬件电源门控技术，进一步降低静态能耗，扩展调度策略的适用范围。还计划引入多目标优化，兼顾能耗、延迟和成本，适应更复杂的云端环境。此外，将探索多模态模型的调度策略，提升系统在多任务、多模型环境下的适应性与效率。
AI 总览摘要
随着生成式AI的快速发展，数据中心的能耗问题日益突出。传统的能耗优化多关注静态配置，难以应对电网需求响应中的动态功率限制。本文提出的PowerSlider系统，基于对LLM推理流程中不同阶段的异构性理解，通过频率调节、KV缓存控制和多阶段调度，实现了在深度功率限制条件下的高效推理服务。核心创新在于引入阶段拆分和在线KKT求解器，使调度策略能够实时响应功率变化，最大化吞吐率并控制延迟尾部。实验结果显示，在Azure生产轨迹上，PowerSlider在30%功率削减下仍达78.3%的吞吐率，远优于传统方案的47.6%，同时延迟尾部控制在1.3倍以内。该方法不仅提升了能耗利用效率，也为云端AI服务的绿色可持续提供了新思路。未来，将结合硬件电源管理技术，推动大规模LLM在电网调控环境中的广泛应用。
深度分析
研究背景
近年来，生成式AI模型如GPT系列推动了大规模LLM的快速发展，推动数据中心算力需求激增。代表性工作包括vLLM、SLOs-Serve等，主要优化吞吐和延迟性能，但多忽视了动态功率调控的需求。随着电网对可再生能源的依赖增加，需求响应成为关键，要求系统在每个瞬时满足功率上限。现有方案多为静态配置或粗粒度调度，难以应对频繁变化的功率限制，亟需更细粒度、实时的调度策略。
核心问题
核心问题在于如何在动态功率限制下，最大化LLM推理的吞吐率和保证延迟尾部，尤其是在多阶段推理流程中不同阶段对频率和内存的敏感性差异。传统调度方案多为静态配置，无法快速响应功率变化，导致吞吐率大幅下降或延迟尾部失控。如何利用阶段异构性和服务弹性，设计实时调度算法，是实现高效能耗管理的关键难题。
核心创新
本研究的创新点包括：1）提出阶段异构性调度模型，充分利用Prefill、Think、Answer阶段的频率和KV缓存差异，实现能耗与性能的动态平衡；2）设计基于KKT条件的在线求解器，快速响应每次功率变化，确保调度实时性；3）引入Flex SLO合同，将用户宽松度转化为优化约束，有效利用服务弹性；4）实现多粒度调度控制，包括GPU频率调节、KV缓存分配和任务调度，形成完整的动态调度框架。这些创新突破了现有静态或粗粒度调度方案的限制，为实时能耗管理提供了新的技术路径。
方法详解
- �� 设计Prefill-Think-Answer三阶段管线，将每个阶段映射到不同GPU池，实现阶段隔离。
- �� 利用阶段异构性，调节GPU频率和KV缓存分配，减少能耗同时保证吞吐。
- �� 采用Flex SLO合同，将用户宽松度转化为优化约束，允许有限的延迟超标。
- �� 构建基于KKT条件的在线求解器，快速调整调度参数以响应功率变化。
- �� 实现多粒度调度控制，包括GPU频率调节、KV缓存划分和请求调度，确保调度的实时性和适应性。
实验设计
在Azure生产轨迹和真实推理任务上，采用多场景测试，包括不同功率限制、突发负载和电网紧急事件。对比静态调度、传统能耗优化和多SLO方案，评估吞吐率、延迟尾部和能耗利用率。关键指标包括在30%功率削减下的吞吐提升、延迟尾部控制效果，以及在深度功率限制（底部0.41倍）时的系统鲁棒性。通过消融实验验证阶段异构性调度和在线求解的贡献。
结果分析
实验结果显示，PowerSlider在30%功率限制下实现78.3%的在线吞吐率，优于传统方案的47.6%，提升1.64倍。在应对电网紧急事件时，系统保持了超过98%的吞吐率，底部功率限制达0.41倍，延迟尾部控制在1.3倍以内。消融分析表明，阶段异构性调度和实时KKT求解是性能提升的关键因素。整体验证了该方法在深度功率限制环境下的优越性和鲁棒性。
应用场景
该方案适用于云端大规模LLM推理服务，特别是在电力需求响应和绿色计算场景中。企业可以利用PowerSlider实现能耗节约同时保证服务质量，减少电费和碳排放。未来还可推广到边缘计算和多模态模型调度，提升多任务环境下的能效比。
局限与展望
系统在极端静态能耗环境下效果有限，调度空间受限。实时求解器在高频变化场景中可能存在响应延迟。硬件电源门控技术的结合仍需深入研究，未来需优化算法以降低计算开销，扩展到多硬件平台和多模态任务。
通俗解读 非专业人士也能看懂
想象你在操控一个大型工厂的机器，每个机器都负责不同的任务。有的机器需要高速运转才能完成工作，有的则可以慢一些。工厂的能源供应就像电网的电力，有时候会变得紧张，需要节省能量。PowerSlider就像一个聪明的调度员，他知道不同机器对能源的需求不同，能根据工厂的能源供应情况，灵活调整每台机器的速度和工作方式。
在这个工厂里，有三个主要的生产阶段：准备原料、思考设计、最终生产。准备原料的机器需要很快的速度，否则会影响整体效率；设计阶段的机器可以慢一些，但要保证质量；而最终生产则需要大量的存储空间，不能太满，否则会卡住。PowerSlider就像一个智慧调度员，他会根据能源的紧张程度，调整每个阶段的机器速度和存储空间，让工厂在节能的同时还能高效运转。
当电网突然变得紧张时，调度员会让一些机器减速或暂停，确保关键任务不受影响。这就像在电力紧张时，工厂优先保证重要的生产线，次要的可以稍微放慢。这样，工厂既节省了能源，又保证了核心任务的完成。这个系统的聪明之处在于，它能实时判断能源状况，灵活调节每个阶段的工作，确保整个工厂在节能的同时还能保持高效率。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的学校项目，有三个步骤：查资料、设计方案、写报告。每个步骤都需要不同的时间和努力。有时候，学校的电力会变得紧张，不能用太多电。PowerSlider就像一个聪明的老师，他知道每个步骤用电多少，什么时候可以少用点电，什么时候必须用满。老师会根据电力情况，调整每个步骤的速度，比如让查资料慢一点，设计快一点，写报告用的存储空间也会调整。
当电力特别紧张时，老师会让一些不那么重要的任务暂停，保证最重要的任务还能完成。这样，整个项目还能按时完成，又不浪费太多电。老师还能根据实际情况，实时调整这些策略，确保在节能的同时，项目的质量也不会差太多。这就像PowerSlider一样，能在电力有限的情况下，智能调节每个环节，让工作既高效又节能。
原文摘要
AI inference clusters are increasingly constrained by instantaneous power, not just energy: grid operators condition new capacity on demand response, imposing time-varying power caps. Existing LLM serving systems optimize a static energy objective or shed fixed priority tiers under load; either way, goodput collapses when the power envelope moves. An LLM pipeline is not a uniform load: compute-bound prefill loses throughput almost linearly with GPU frequency, memory-bound answer decode sustains it down to $0.57\times$ nominal, and reasoning's thinking phase couples KV-cache capacity to scheduling -- so a cap should be steered to where each watt costs the least performance. PowerSlider does so with a new Flex SLO contract that turns bounded user slack into an optimization constraint, prefill--think--answer disaggregation exposing per-stage frequency and KV control, and a Karush--Kuhn--Tucker (KKT) online solver re-solving within 7.7 ms of every cap change, backed by a consolidated fail-safe that power-gates drained instances when DVFS bottoms out on static power. On SGLang with production traces, \sys{} sustains 78.3\% online goodput at a 30\% cap reduction versus 47.6\% for the best of five baselines ($1.64\times$), holds latency-critical tails within $1.3\times$ of nominal (baselines: $2.3$--$6\times$, up to $12\times$), and delivers 92\% mean goodput through a replayed CAISO grid-emergency day bottoming at $0.41\times$ (54\% at the trough; every baseline below 7\%).