核心发现
方法论
Pie系统通过将传统生成循环分解为细粒度服务处理器，并通过API暴露给用户提供的程序inferlets来控制生成过程。使用WebAssembly执行inferlets，提供轻量级沙盒环境。
关键结果
- Pie在标准任务上与最先进的性能相当，延迟开销为3-12%。在agentic工作流中，通过应用特定优化，延迟和吞吐量分别提高1.3x-3.4x。
- 通过实验验证，Pie在Graph-of-Thought和agentic工作流中表现出显著的性能提升。
- 在多步生成和自定义KV缓存策略中，Pie实现了显著的优化效果。
研究意义
Pie系统通过提供灵活的生成控制和高效的计算，解决了现有LLM服务系统在处理复杂推理策略和agentic工作流时的局限性。它为学术界和工业界提供了新的解决方案，特别是在需要自定义生成逻辑的应用中。
技术贡献
Pie通过引入inferlets和WebAssembly执行环境，提供了与现有系统不同的可编程模型，允许用户在不修改服务系统的情况下实现自定义逻辑和优化策略。
新颖性
Pie是首个将LLM生成过程完全委托给用户程序的系统，突破了传统单一生成循环的限制，提供了前所未有的灵活性和控制力。
局限性
- 在某些复杂的推理场景中，Pie可能需要更高的编程复杂度来实现优化。
- WebAssembly的执行环境可能在某些情况下限制性能。
未来方向
未来工作将集中于扩展Pie的API以支持更多的LLM架构，并优化WebAssembly的执行效率。此外，还将探索在更多应用场景中的性能表现。
AI 总览摘要
随着大语言模型(LLM)应用的多样化，现有的服务系统在处理复杂推理策略和agentic工作流时面临挑战。Pie系统通过将传统的生成循环分解为细粒度的服务处理器，并通过API暴露给用户提供的程序inferlets来控制生成过程，从而实现了灵活性和效率的提升。
Pie的核心技术包括使用WebAssembly执行inferlets，提供轻量级的沙盒环境，允许应用实现新的KV缓存策略和定制生成逻辑。实验结果显示，Pie在标准任务上与最先进的性能相当，延迟开销为3-12%，而在agentic工作流中，通过应用特定优化，延迟和吞吐量分别提高1.3x-3.4x。
Pie系统的推出为学术界和工业界提供了新的解决方案，特别是在需要自定义生成逻辑的应用中。未来工作将集中于扩展Pie的API以支持更多的LLM架构，并优化WebAssembly的执行效率。
深度分析
研究背景
随着大语言模型(LLM)的广泛应用，现有的服务系统在处理复杂推理策略和agentic工作流时面临挑战。传统的生成循环通常是单一的，难以适应多样化的应用需求。近年来，研究者们提出了多种优化策略，如KV缓存管理和自定义生成逻辑，但这些策略在现有系统中难以实现。
核心问题
现有的LLM服务系统在处理复杂推理策略和agentic工作流时效率低下，缺乏灵活性。传统的单一生成循环限制了应用的自定义能力，难以支持多样化的应用需求。
核心创新
Pie系统通过引入inferlets和WebAssembly执行环境，实现了生成过程的可编程化。• 将传统生成循环分解为细粒度服务处理器。• 通过API暴露给用户提供的程序inferlets。• 使用WebAssembly执行inferlets，提供轻量级沙盒环境。
方法详解
- �� 将传统生成循环分解为细粒度服务处理器。• 通过API暴露给用户提供的程序inferlets。• 使用WebAssembly执行inferlets，提供轻量级沙盒环境。• 允许应用实现新的KV缓存策略和定制生成逻辑。
实验设计
实验设计包括在标准任务和agentic工作流中的性能测试。使用的基准包括Graph-of-Thought和多步生成任务。通过对比现有系统，验证了Pie在延迟和吞吐量上的显著提升。
结果分析
实验结果显示，Pie在标准任务上与最先进的性能相当，延迟开销为3-12%。在agentic工作流中，通过应用特定优化，延迟和吞吐量分别提高1.3x-3.4x。
应用场景
Pie系统适用于需要自定义生成逻辑的应用场景，如复杂推理策略和agentic工作流。通过提供灵活的生成控制，Pie可以显著提升这些应用的性能。
局限与展望
Pie在某些复杂的推理场景中可能需要更高的编程复杂度来实现优化。此外，WebAssembly的执行环境可能在某些情况下限制性能。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。传统的LLM服务系统就像一个固定的食谱，你只能按照步骤来做。而Pie系统就像一个开放的厨房，你可以根据自己的口味调整食材和步骤。通过API，你可以选择不同的食材（数据）和烹饪方法（生成逻辑），甚至可以在做饭的过程中加入新的调料（计算和I/O操作）。这种灵活性让你可以根据不同的需求，做出更符合自己口味的菜肴。
简单解释 像给14岁少年讲一样
想象一下，你在玩一个超级复杂的游戏。传统的LLM服务系统就像一个只能按固定顺序玩的关卡，而Pie系统就像一个开放世界游戏，你可以自由选择任务和路径。通过API，你可以定制自己的游戏策略，选择不同的装备和技能，甚至可以在游戏过程中加入新的挑战。这种灵活性让你可以根据自己的喜好，创造出独一无二的游戏体验。
术语表
LLM服务系统
用于支持大语言模型应用的后台系统，负责处理生成和推理任务。
在本文中，LLM服务系统是Pie的应用背景。
inferlets
用户提供的程序，用于控制生成过程的各个阶段。
Pie通过inferlets实现生成过程的可编程化。
KV缓存
用于存储生成过程中中间结果的缓存结构。
Pie允许用户自定义KV缓存策略。
WebAssembly
一种轻量级的沙盒执行环境，用于执行inferlets。
Pie使用WebAssembly来执行inferlets。
agentic工作流
需要与外部系统交互的复杂任务流程。
Pie在agentic工作流中表现出显著的性能提升。
开放问题 这项研究留下的未解疑问
- 1 如何在不增加编程复杂度的情况下，进一步优化Pie的性能？
- 2 WebAssembly在执行inferlets时的性能瓶颈是什么？
- 3 如何扩展Pie以支持更多的LLM架构？
应用场景
近期应用
自定义生成逻辑
Pie允许开发者根据应用需求自定义生成逻辑，提升应用性能。
复杂推理策略
通过Pie，开发者可以实现复杂的推理策略，如多步生成和Graph-of-Thought。
远期愿景
广泛的行业应用
Pie的灵活性和高效性使其在多个行业中具有广泛的应用潜力。
原文摘要
Emerging large language model (LLM) applications involve diverse reasoning strategies and agentic workflows, straining the capabilities of existing serving systems built on a monolithic token generation loop. This paper introduces Pie, a programmable LLM serving system designed for flexibility and efficiency. Pie decomposes the traditional generation loop into fine-grained service handlers exposed via an API and delegates control of the generation process to user-provided programs, called inferlets. This enables applications to implement new KV cache strategies, bespoke generation logic, and seamlessly integrate computation and I/O-entirely within the application, without requiring modifications to the serving system. Pie executes inferlets using WebAssembly, benefiting from its lightweight sandboxing. Our evaluation shows Pie matches state-of-the-art performance on standard tasks (3-12% latency overhead) while significantly improving latency and throughput (1.3x-3.4x higher) on agentic workflows by enabling application-specific optimizations.