Adaptive Multi-Objective Tiered Storage Configuration for KV Cache in LLM Service
提出Kareto，通过模拟优化多目标存储配置，提升LLM KV缓存性能与成本效率。
核心发现
方法论
本文采用高保真端到端模拟器，结合多目标帕累托优化框架，探索GPU HBM、主存和磁盘三层存储的配置空间。Kareto利用递减收益引导剪枝策略，有效缩小搜索范围，结合细粒度自适应调优器，根据存储层的访问策略和KV块访问模式，动态调整存储容量和淘汰策略。通过模拟真实工作负载，系统自动识别成本、吞吐和延迟的帕累托前沿，避免了传统静态配置的局限。
关键结果
- 在真实生产轨迹上测试，Kareto能自动适应不同工作负载，优化存储配置。相较于固定1024GB DRAM方案，能提升吞吐量最高9.3%，降低延迟达58.3%，或降低成本20.2%。
- 通过模拟不同存储层组合，发现混合配置（如256GB DRAM+云磁盘）在成本与性能之间实现优良折中，显著优于单一存储方案。
- 采用细粒度调优策略，提升缓存命中率，减少无效存储空间浪费，增强系统整体效率。
研究意义
该研究突破了传统静态存储配置的瓶颈，实现了基于工作负载的动态调节，极大提升LLM推理服务的资源利用率和成本效益。它为云端大规模模型部署提供了智能化、弹性的存储管理方案，解决了多目标优化中的复杂非线性关系难题，推动了AI基础设施的智能化发展。
技术贡献
提出结合高保真模拟与多目标帕累托优化的系统框架，创新性地引入递减收益引导剪枝策略，有效探索庞大配置空间。设计了基于前缀树的细粒度TTL调优机制，提升存储层的适应性和效率。实现了端到端的模拟平台，精确反映云环境中的存储成本与性能关系，为多目标调优提供了理论与工程基础。
新颖性
首次系统性结合模拟驱动的多目标帕累托优化，解决存储配置中非线性、多目标复杂耦合问题。引入递减收益剪枝和细粒度调优机制，超越现有静态或启发式方法，提供动态弹性调度方案。
局限性
- 模拟依赖于历史轨迹，可能在极端或未见过的工作负载下表现不佳。
- 调优过程计算成本较高，实时应用仍需优化算法加速。
- 对存储层的硬件变化和云服务价格波动敏感，需持续更新模型参数。
未来方向
未来将结合在线学习机制，动态调整配置策略；探索多云环境下的跨平台资源调度；引入机器学习预测模型，提前识别工作负载变化趋势，提升系统的自适应能力。
AI 总览摘要
随着大规模语言模型（LLMs）在各行业的广泛应用，提升其推理服务的效率成为关键挑战。传统的KV缓存方案依赖固定容量和静态策略，难以应对多变的工作负载和复杂的存储层次结构，导致资源浪费或性能瓶颈。本文提出Kareto，一种基于模拟的多目标帕累托优化框架，旨在动态调节GPU HBM、主存和磁盘三层存储的配置，以实现成本、延迟和吞吐的最佳平衡。
Kareto通过高保真端到端模拟器，重现真实生产环境中的存储访问行为，结合递减收益引导的剪枝策略，有效缩小搜索空间，快速找到帕累托前沿。系统还引入基于前缀树的细粒度TTL调优机制，根据不同存储层的访问模式，动态调整存储容量和淘汰策略，提升缓存效率。实验结果显示，在多个真实轨迹上，Kareto能自动适应不同工作负载，显著优于静态配置方案。
该方法不仅优化了存储资源的利用率，还降低了整体运营成本，提升了推理吞吐和响应速度，为云端大规模LLM部署提供了智能化、弹性的存储管理解决方案。未来，结合在线学习和多云调度，将进一步增强系统的自适应能力和实用性，推动AI基础设施的智能升级。
深度分析
研究背景
近年来，LLMs的快速发展带动了高效推理服务的需求。KV缓存技术作为降低延迟的关键手段，广泛应用于Transformer模型中，存储前序请求的键值对以避免重复计算。现有系统多采用静态存储配置，依赖硬件预设容量，难以应对请求模式的动态变化。多层存储架构（GPU HBM、主存、磁盘）逐渐普及，但缺乏智能调度机制，导致资源利用率低，成本高昂。传统优化方法多关注单一目标，忽视多目标间的复杂关系，难以实现全局最优。
核心问题
核心问题在于如何在多层存储资源中，动态、智能地配置容量和调度策略，以平衡成本、延迟和吞吐。现有方案多为静态预设，不能适应请求的变化，导致资源浪费或性能下降。存储层的非线性关系和突变行为，使得传统模型难以准确预测系统表现。如何在复杂的非线性、多目标耦合中找到最优配置，成为亟待解决的难题。
核心创新
本文提出结合高保真模拟与多目标帕累托优化的系统框架，创新性地引入递减收益引导剪枝策略，有效探索庞大配置空间。设计了基于前缀树的细粒度TTL调优机制，提升存储层的适应性和效率。通过模拟真实云环境中的存储成本与性能关系，实现了动态、弹性的存储配置。该方案突破了传统静态策略的限制，为多目标优化提供了新思路。
方法详解
- �� 构建高保真端到端模拟器，模拟存储层次（HBM、主存、磁盘）中的KV存取行为，结合云存储价格模型。• 设计多目标帕累托优化框架，将成本、延迟、吞吐作为目标，利用模拟结果评估配置优劣。• 引入递减收益引导的剪枝策略，逐步缩小搜索空间，重点探索高敏感区域。• 采用前缀树分析，动态调整KV块的TTL值，根据访问频率和重用特征，优化存储容量分配。• 结合历史轨迹，利用模拟结果自动识别最优配置集，满足不同用户需求。
实验设计
使用真实生产轨迹，包括多种请求类型和请求量，评估Kareto在不同场景下的表现。比较静态配置、启发式调度和Kareto的性能差异。指标涵盖吞吐量、延迟（TTFT）、存储成本和命中率。通过多轮调优，验证算法在不同负载和存储层组合下的适应性。还进行消融实验，分析剪枝策略和TTL调优的贡献。结果显示，Kareto在多场景中均优于基线方案，特别是在高负载环境下，性能提升明显。
结果分析
在真实轨迹上，Kareto实现最高9.3%的吞吐提升，延迟降低58.3%，成本节省20.2%。混合存储配置（如256GB DRAM+云磁盘）在成本与性能间找到最佳折中。调优机制显著提升缓存命中率，减少存储浪费。模拟验证了系统在不同工作负载中的自适应能力，展现出优越的资源利用效率和弹性调度能力。
应用场景
该方案适用于云端大规模LLM推理服务，特别是在多租户环境中实现弹性资源调度。可广泛应用于AI基础设施、云服务提供商、企业内部AI平台，提升存储利用率和服务质量。实现条件包括对工作负载的历史轨迹数据和云存储价格模型的掌握，系统可根据实际需求自动调整配置。
局限与展望
模型依赖历史轨迹，可能在突发或极端场景表现不足。模拟计算成本较高，实时调度仍需优化。对云价格波动敏感，需持续更新参数。未来需结合在线学习机制，提升系统的实时适应能力，降低计算成本。
通俗解读 非专业人士也能看懂
想象你在经营一家餐厅，菜单上有多种菜肴（存储层），每种菜的成本和受欢迎程度不同。你希望用最少的钱做出最受顾客喜爱的菜，但每次顾客点菜（请求）都不一样。过去你用固定菜单（静态配置），但每次都不一定合适。有时候菜单太贵，利润低；有时候菜不够多，顾客等太久。现在，你用一台智能厨房（模拟器）模拟不同菜单组合，观察哪些搭配能让利润最大、菜品新鲜、等待时间短。你还让厨房根据顾客的点菜习惯，调整菜品的供应时间（TTL），确保每次都能快速满足顾客需求。通过不断试验和调整，你找到了一份最优菜单方案，既省钱，又快，又受欢迎。这就像Kareto在存储层中不断试验，找到最合适的配置，让云端AI服务更高效、更经济。
简单解释 像给14岁少年讲一样
想象你在学校的食堂里点餐，你可以选择不同的菜（存储层），有的便宜但慢，有的贵但快。以前，食堂老板总是用同样的菜单，不管当天的学生多还是少。有时候菜太多，浪费钱；有时候菜太少，学生等太久。现在，有个聪明的机器人厨师（模拟器），它可以帮你试各种菜单组合，看看哪个既省钱，又能让学生最快吃到饭。它会根据每天的学生点餐习惯，调整菜的供应时间（TTL），确保每个人都能快快吃到，又不浪费食材。经过多次试验，机器人找到最棒的菜单方案，既省钱又快，还能让学生满意。这个过程就像Kareto在云端存储中不断试验配置，找到最合适的存储方案，让AI服务变得更快、更便宜、更智能。
术语表
Pareto Front（帕累托前沿）
在多目标优化中，表示在所有目标间达到最优折中的一组解，没有任何目标可以改善而不影响其他目标。
用来描述存储配置在成本、延迟和吞吐的平衡点。
KV Cache（键值缓存）
存储Transformer模型中前序请求的键值对，以避免重复计算，提高推理速度。
是LLM推理中的核心技术之一。
多目标帕累托优化（Multi-objective Pareto Optimization）
在多个目标间寻找非支配解集，确保没有方案在所有目标上都优于另一方案。
用于系统配置的多目标调优。
TTL（存活时间）
键值对在存储中的最大存活时间，超时后会被淘汰。
调节存储空间和缓存效率的重要参数。
模拟器（Simulator）
通过仿真模型重现系统行为，用于评估不同配置的性能和成本。
是优化框架的核心工具。
开放问题 这项研究留下的未解疑问
- 1 如何在极端突发负载下保持优化效果？未来需结合在线学习机制，实时调整配置策略。
- 2 多云环境中的存储调度如何实现跨平台资源的最优配置？这是未来研究的重要方向。
应用场景
近期应用
云端LLM推理优化
云服务提供商可利用Kareto实现弹性存储调度，提升资源利用率，降低成本，改善用户体验。
企业AI基础设施管理
企业内部AI平台通过动态配置存储资源，应对不同业务场景的需求变化，提升效率。
远期愿景
智能云基础设施
未来实现全自动、多云、多层存储资源的智能调度，推动云计算向自适应、弹性方向发展。
原文摘要
The memory-for-computation paradigm of KV caching is essential for accelerating large language model (LLM) inference service, but limited GPU high-bandwidth memory (HBM) capacity motivates offloading the KV cache to cheaper external storage tiers. While this expands capacity, it introduces the challenge of dynamically managing heterogeneous storage resources to balance cost, throughput, and latency under varying workloads. We formulate this as a multi-objective optimization problem: identifying the Pareto frontier across these metrics within the storage configuration space. Using a high-fidelity end-to-end simulator, we observe that the objective functions are non-analytic and exhibit complex variable coupling, making the Pareto frontier difficult to approximate analytically. To obtain the frontier, we introduce Kareto, a KV-cache Adaptive REsource managemenT Optimizer. Kareto leverages a diminishing-return-guided pruning method to efficiently navigate the large configuration space and approximate the Pareto frontier. Additionally, it incorporates a fine-grained adaptive tuner that uses eviction policies in tier storage and KV block access patterns for group-specific cache management, improving cache efficiency. Experiments on real-world traces show that Kareto adapts to workload and can identify configurations of better cost efficiency, covering static strategies. Compared to the fixed setup with 1024 GB DRAM, Kareto can improve throughput by up to 9.3%, or reduce latency by up to 58.3%, or lower cost by up to 20.2% under respective optimization objectives.