核心发现
方法论
该研究提出了一种因果端到端框架，通过最小化观测数据的决策遗憾来学习路由策略。引入了两个理论支持的替代目标：基于分类的上界和软最大值加权的遗憾近似。框架还通过区间条件架构处理异质成本偏好。
关键结果
- 实验表明，该方法在BERT和LLaMA嵌入模型上实现了最先进的性能，超越了现有的基线方法。
- 在RouterBench和SPROUT基准测试中，方法表现优异，特别是在处理异质成本偏好时。
- 通过软最大值加权遗憾近似，成功恢复了收敛时的最优策略。
研究意义
该研究在学术界和工业界具有重要意义。它解决了传统方法对全反馈数据的依赖问题，提供了一种更具可扩展性和成本效益的解决方案，尤其是在处理异质成本偏好时。
技术贡献
技术贡献包括引入了新的因果推断框架，能够从观测数据中学习路由策略，并通过软最大值加权遗憾近似实现最优策略的恢复。
新颖性
这是首次从观测数据中学习LLM路由，并引入了集成学习框架，直接最小化决策遗憾，区别于传统的解耦方法。
局限性
- 方法依赖于观测数据的质量，可能在数据稀疏或偏差严重时表现不佳。
- 在极端成本偏好情况下，可能需要额外的模型调整。
未来方向
未来工作可以探索在更多样化的数据集上验证框架的有效性，并研究如何进一步降低计算成本。
AI 总览摘要
在大规模语言模型（LLM）应用中，选择合适的模型以平衡准确性和成本是一个关键问题。传统方法通常依赖于全反馈数据，这在实践中难以实现。本文提出了一种因果端到端框架，通过最小化观测数据的决策遗憾来学习路由策略。该方法引入了基于分类的上界和软最大值加权的遗憾近似，能够在收敛时恢复最优策略。实验结果表明，该方法在BERT和LLaMA嵌入模型上实现了最先进的性能，特别是在处理异质成本偏好时表现优异。尽管如此，方法依赖于观测数据的质量，未来工作可以探索在更多样化的数据集上验证框架的有效性。
深度分析
研究背景
近年来，随着大规模语言模型（LLM）的发展，模型选择问题变得尤为重要。传统方法通常依赖于全反馈数据，这在实践中难以实现。
核心问题
核心问题在于如何从观测数据中学习最优路由策略，以平衡模型的准确性和成本。
核心创新
本文的核心创新在于引入了因果端到端框架，通过最小化决策遗憾来学习路由策略，并处理异质成本偏好。
方法详解
- �� 提出因果端到端框架
- �� 引入基于分类的上界
- �� 使用软最大值加权遗憾近似
- �� 处理异质成本偏好的区间条件架构
实验设计
实验在RouterBench和SPROUT基准测试上进行，使用BERT和LLaMA嵌入模型进行评估。
结果分析
结果显示，该方法在各个基准测试中均超越现有基线，尤其是在处理异质成本偏好时表现优异。
应用场景
该方法可用于需要平衡准确性和成本的各种LLM应用场景，如自动问答系统和文本生成。
局限与展望
方法依赖于观测数据的质量，可能在数据稀疏或偏差严重时表现不佳。
通俗解读 非专业人士也能看懂
想象你在一个大厨房里，有很多厨师，每个厨师擅长不同的菜肴。你需要根据客人的喜好和预算选择合适的厨师。我们的框架就像一个聪明的助手，它能根据过去的经验，快速推荐最合适的厨师，而不需要每次都试遍所有厨师。
简单解释 像给14岁少年讲一样
想象你在玩一个策略游戏，你有很多角色可以选择，每个角色都有不同的技能和花费。你需要根据任务的难度和你的金币数量选择合适的角色。我们的研究就像一个游戏助手，能帮你快速选出最合适的角色，让你更快赢得游戏！
术语表
因果推断 (Causal Inference)
通过分析观测数据推断因果关系的方法。
用于估计未观察到的模型输出。
遗憾最小化 (Regret Minimization)
最小化决策与最优决策之间差距的方法。
用于优化路由策略。
观测数据 (Observational Data)
仅记录实际部署模型结果的数据。
用于学习路由策略。
软最大值 (Softmax)
一种将输出转换为概率分布的函数。
用于遗憾近似。
异质成本 (Heterogeneous Cost)
不同用户对成本的不同偏好。
通过区间条件架构处理。
开放问题 这项研究留下的未解疑问
- 1 如何在数据稀疏或偏差严重的情况下有效学习路由策略。
- 2 如何进一步降低计算成本以提高方法的实用性。
应用场景
近期应用
自动问答系统
通过选择合适的LLM模型，提高问答系统的准确性和响应速度。
远期愿景
智能文本生成
在文本生成任务中，动态选择模型以优化生成质量和成本。
原文摘要
LLM routing aims to select the most appropriate model for each query, balancing competing performance metrics such as accuracy and cost across a pool of language models. Prior approaches typically adopt a decoupled strategy, where the metrics are first predicted and the model is then selected based on these estimates. This setup is prone to compounding errors and often relies on full-feedback data, where each query is evaluated by all candidate models, which is costly to obtain and maintain in practice. In contrast, we learn from observational data, which records only the outcome of the model actually deployed. We propose a causal end-to-end framework that learns routing policies by minimizing decision-making regret from observational data. To enable efficient optimization, we introduce two theoretically grounded surrogate objectives: a classification-based upper bound, and a softmax-weighted regret approximation shown to recover the optimal policy at convergence. We further extend our framework to handle heterogeneous cost preferences via an interval-conditioned architecture. Experiments on public benchmarks show that our method outperforms existing baselines, achieving state-of-the-art performance across different embedding models.