核心发现
方法论
本文提出了一种无训练的在线路由算法PORT，利用近似最近邻搜索（ANNS）来估计查询特征，并通过初始查询集的一次性优化学习路由策略。该算法在高查询量和受限令牌预算的情况下表现出色，适用于动态LLM部署。
关键结果
- 在RouterBench、SPROUT和Open LLM Leaderboard v2上，PORT平均提升性能3.55倍，成本效率1.85倍，吞吐量4.25倍。
- 与8种基线方法相比，PORT在所有测试中均表现优异，尤其在高查询量场景下表现突出。
- 实验结果表明，PORT在不同数据集和路由环境中具有强大的鲁棒性和适应性。
研究意义
该研究在学术界和工业界具有重要意义，解决了高查询量下的在线路由问题，降低了LLM服务的部署和计算成本。通过无训练方法，PORT能够快速适应动态的LLM配置，减少了重新训练的开销。
技术贡献
技术贡献包括：首次提出无训练的在线路由算法，提供了新的理论保证，显著提高了计算效率，并在高查询量场景中实现了近乎最优的性能。
新颖性
PORT是首个无训练的在线路由算法，与现有方法相比，避免了复杂的模型训练和高计算开销，能够在动态环境中灵活应用。
局限性
- 在极端预算限制下，性能可能下降。
- 需要依赖历史数据集的质量。
- 在某些特定场景下，可能需要进一步优化。
未来方向
未来工作可包括：优化算法以适应更复杂的LLM部署环境，探索不同的特征估计方法，以及在更多实际应用中测试算法的性能。
AI 总览摘要
随着大语言模型（LLM）需求的增加，提供商面临着巨大的部署和计算成本压力。现有的路由方法主要集中在离线场景，难以适应高查询量和受限令牌预算的在线环境。本文提出了一种无训练的在线路由算法PORT，通过近似最近邻搜索（ANNS）高效估计查询特征，并在初始查询集上进行一次性优化，学习出指导未来路由的策略。
PORT算法在理论上保证了接近最优的竞争比，并通过在3个基准数据集和8个基线方法上的广泛实验验证了其有效性。实验结果显示，PORT在整体性能上平均提升3.55倍，成本效率提升1.85倍，吞吐量提升近4.25倍。
该研究为高查询量、多LLM服务提供了一种高效的解决方案，显著降低了计算开销，并能够快速适应动态的LLM部署配置。未来的研究方向包括优化算法以适应更复杂的环境，并在更多实际应用中测试其性能。
深度分析
研究背景
大语言模型（LLM）在自动化信息处理领域的应用迅速增长，但其服务提供商面临着高昂的部署和计算成本。现有的路由方法主要集中在离线场景，难以适应动态的在线环境，尤其是在高查询量和受限令牌预算的情况下。
核心问题
核心问题在于如何在高查询量和受限令牌预算的在线环境中高效路由查询。现有方法在计算复杂度和适应性上存在不足，难以满足实际需求。
核心创新
本文的创新之处在于提出了无训练的在线路由算法PORT，利用ANNS高效估计查询特征，并通过一次性优化学习路由策略。这一方法避免了复杂的模型训练，能够快速适应动态的LLM配置。
方法详解
- �� 使用近似最近邻搜索（ANNS）估计查询特征。• 在初始查询集上进行一次性优化，学习路由策略。• 在后续查询中应用学习到的策略进行路由。• 引入控制参数以限制未来查询的性能偏差。
实验设计
实验在RouterBench、SPROUT和Open LLM Leaderboard v2三个基准数据集上进行，比较了8种基线方法。使用的主要指标包括性能、成本效率和吞吐量。实验设置中，ANNS算法采用HNSW，候选邻居数设为5。
结果分析
PORT在所有测试中均表现优异，尤其在高查询量场景下表现突出。与最强基线方法BatchSplit相比，PORT在性能上提升33%，在成本效率上提升38%。
应用场景
PORT适用于需要高效处理大规模查询的LLM服务场景，尤其是在动态配置和高查询量的环境中。其低计算开销和高适应性使其在工业界具有广泛的应用潜力。
局限与展望
PORT在极端预算限制下可能性能下降，且依赖历史数据集的质量。在某些特定场景下，可能需要进一步优化以提高适应性。
通俗解读 非专业人士也能看懂
想象你在一个大型图书馆工作，每天都有大量的书籍请求。你需要快速决定将每本书送到哪个部门，以便高效处理。PORT算法就像是一个聪明的图书管理员，它不需要事先学习复杂的分类规则，而是根据每本书的特征和历史记录，快速决定最佳的送书路径。这样一来，即使在图书馆的配置发生变化时，它也能快速适应，保持高效的工作效率。
简单解释 像给14岁少年讲一样
想象你在玩一个大型多人在线游戏，每个玩家都有不同的任务。你的任务是将每个玩家分配到最适合他们的任务区域。PORT算法就像是一个超级聪明的游戏管理员，它不需要事先学习复杂的规则，而是根据每个玩家的特征和历史记录，快速决定最佳的任务区域。这样，即使游戏规则发生变化，它也能快速适应，保持高效的游戏体验！
术语表
大语言模型 (LLM)
一种能够理解和生成自然语言的大规模机器学习模型，广泛应用于自然语言处理任务。
在本文中，LLM是需要高效路由的核心对象。
近似最近邻搜索 (ANNS)
一种用于快速查找数据集中最相似数据点的算法，通常用于高维数据。
PORT算法利用ANNS来估计查询特征。
路由策略
在多种选择中决定最佳路径的规则或算法。
PORT通过一次性优化学习出指导未来路由的策略。
竞争比
一种衡量在线算法性能的指标，通常与最优离线算法的性能进行比较。
PORT在理论上保证了接近最优的竞争比。
令牌预算
在给定时间内可用的计算资源限制，通常用于控制计算成本。
PORT在受限令牌预算下表现出色。
开放问题 这项研究留下的未解疑问
- 1 如何在极端预算限制下保持高性能？
- 2 在不同的LLM配置下，PORT的适应性如何？
- 3 如何进一步优化PORT以提高其在特定场景下的性能？
应用场景
近期应用
LLM服务优化
PORT可用于优化现有LLM服务的查询路由，提高处理效率，降低计算成本。
远期愿景
动态配置管理
PORT的无训练特性使其适用于未来的动态配置管理，能够快速适应变化的环境。
原文摘要
Increasing demand for Large Language Models (LLMs) services imposes substantial deployment and computation costs on providers. LLM routing offers a cost-efficient solution by directing queries to the optimal LLM based on model and query features. However, existing works primarily focus on offline scenarios and struggle to adapt to online settings with high query volume and constrained token budgets. In this work, we introduce the first training-free algorithm for online routing scenarios. Our algorithm leverages approximate nearest neighbor search to efficiently estimate query features and performs a one-time optimization over a small set of initial queries to learn a routing strategy that guides future routing. We provide theoretical guarantees demonstrating that our algorithm achieves a competitive ratio of $1 - o(1)$ under natural assumptions, which is further validated by extensive experiments across 3 benchmark datasets and 8 baselines, showing an average improvement of 3.55$\times$ in overall performance, 1.85$\times$ in cost efficiency, and nearly 4.25$\times$ in throughput. Our code is available at https://github.com/fzwark/PORT.