核心发现
方法论
ECC算法结合语义嵌入与有限模型比较，通过Bradley-Terry模型参数化能力剖面，并引入可训练混合权重实现灵活的能力感知聚类。
关键结果
- ECC在MMLU、MATH等数据集上提升LLM能力排名质量，平均超越人工标注17.64个百分点，嵌入基准18.02个百分点。
- ECC在查询路由任务中提升响应质量16.6%，在有限比较预算下提升新模型排名16.3个百分点。
- 实验表明ECC生成的聚类能有效分离能力需求不同的查询，同时合并需求一致的查询。
研究意义
ECC解决了传统基于语义聚类方法无法捕捉潜在能力需求的局限，为LLM能力评估提供了更精细的工具，适用于个性化和领域特定应用。
技术贡献
ECC首次将后验模型比较信号融入聚类过程，提出基于Bradley-Terry模型的能力剖面，并通过软责任权重实现查询的混合能力建模。
新颖性
ECC创新性地整合了语义嵌入与后验模型比较，突破了传统语义聚类方法的能力需求错配问题。
局限性
- ECC依赖于有限的模型比较数据，可能在数据不足时表现受限。
- 对高维语义嵌入的依赖可能导致计算复杂度较高。
- 需要进一步验证在更多实际应用场景中的通用性。
未来方向
未来可探索ECC在多模态数据上的扩展，优化计算效率，并结合更多动态信号提升实时性能。
AI 总览摘要
现有的查询聚类方法通常基于语义嵌入或人工标注，但难以准确捕捉查询的潜在能力需求。ECC算法通过校准语义嵌入与有限的模型比较信号，提出了一种能力感知的聚类方法。ECC使用Bradley-Terry模型参数化能力剖面，并通过可训练的软责任权重实现对混合能力需求的建模。
实验结果表明，ECC在多个基准数据集上显著提升了LLM能力排名质量，平均超越人工标注和嵌入基准17%以上。此外，ECC在查询路由和新模型排名等下游任务中表现出色，分别提升了16.6%和16.3%的性能。
尽管ECC在能力建模上取得了突破，但其对模型比较数据的依赖和计算复杂度仍是需要解决的挑战。未来研究可探索ECC在多模态数据和实时应用中的潜力。
深度分析
研究背景
大语言模型（LLM）在多任务表现出色，但其能力评估依赖于查询的能力需求匹配。传统方法如基于语义嵌入的聚类无法捕捉潜在能力需求，导致模型评估结果不准确。
核心问题
现有方法在表面语义与潜在能力需求之间存在错配，无法有效支持能力感知的LLM评估，尤其在查询需求复杂或混合时表现不足。
核心创新
ECC通过校准语义嵌入与模型比较信号，提出基于Bradley-Terry模型的能力剖面，并引入软责任权重实现混合能力需求建模。
方法详解
- �� 使用语义嵌入初始化查询聚类。
- �� 收集有限的模型比较数据作为后验信号。
- �� 通过Bradley-Terry模型参数化能力剖面。
- �� 引入软责任权重，量化查询与聚类的匹配程度。
- �� 采用交替优化更新聚类中心与责任权重。
实验设计
实验使用MMLU、MATH等数据集，比较ECC与人工标注、嵌入基准等方法的性能，并在查询路由和新模型排名任务中验证ECC的实用性。
结果分析
ECC在能力排名质量上平均超越基准17%以上，在查询路由任务中提升响应质量16.6%，在有限比较预算下提升新模型排名16.3%。
应用场景
ECC适用于个性化LLM部署、查询路由优化和新模型能力评估，尤其在多任务、多领域场景中具有显著优势。
局限与展望
ECC对模型比较数据的依赖可能限制其在数据稀缺场景中的表现，同时高维嵌入计算复杂度较高。
通俗解读 非专业人士也能看懂
想象你在一个图书馆里，需要找到最适合回答问题的专家。传统方法只看专家的头衔（语义嵌入），但ECC会通过观察他们回答问题的表现（模型比较）来分组，确保每组专家的能力更匹配你的需求。
简单解释 像给14岁少年讲一样
假设你有一群朋友，他们擅长不同的游戏。你想知道谁最适合帮你打某个关卡。ECC就像一个聪明的裁判，不仅看朋友们的游戏类型，还会观察他们的实际表现，把他们分成能力相似的小组，帮你快速找到最佳搭档！
术语表
Bradley-Terry模型
用于从成对比较数据中估计项目潜在强度的模型。
ECC用它来参数化每个聚类的能力剖面。
软责任权重
量化查询与多个聚类的匹配程度的权重。
ECC通过软责任权重实现混合能力需求建模。
能力剖面
描述每个聚类的潜在能力需求分布。
ECC通过能力剖面区分不同聚类的能力特性。
后验信号
基于模型比较数据的能力评估信息。
ECC用后验信号校准语义嵌入。
查询路由
根据查询需求将其分配给最适合的模型。
ECC在查询路由任务中提升了响应质量。
开放问题 这项研究留下的未解疑问
- 1 如何在数据稀缺场景下优化ECC性能？
- 2 ECC能否扩展到多模态数据和实时应用？
应用场景
近期应用
查询路由优化
根据查询能力需求选择最佳模型，提升响应质量。
新模型评估
在有限比较预算下快速评估新模型能力。
远期愿景
多模态能力建模
扩展ECC到多模态数据，支持更复杂的任务场景。
原文摘要
Query clustering organizes queries into groups that reflect shared latent capability demands, enabling capability-aware LLM evaluation. Existing clustering methods, which primarily rely on semantic taxonomies or embeddings, often fail to capture such latent capability requirements due to a misalignment between surface-level semantics and actual model performance. We propose ECC, an algorithm that calibrates prior semantic embeddings using limited posterior model comparisons to bridge the gap between surface-level semantics and latent capability requirements. ECC characterizes each cluster through a capability profile parameterized by a Bradley-Terry model and uses trainable mixture weights to accommodate queries with mixed capability demands, jointly learning a flexible, capability-aware clustering structure that supports query-specific inference of LLM capabilities. Extensive quantitative and qualitative evaluations demonstrate that ECC significantly improves LLM capability ranking quality, outperforming human-labeled and embedding-based baselines by an average of 17.64 and 18.02 percentage points, respectively, and proves effective in downstream tasks such as query routing.