核心发现
方法论
本文提出一种行为基础的LLM评判机制，结合查询-相关性-印象（QRI）卡，利用历史用户交互数据增强语义推理。通过在Spotify音乐搜索中，基于6000个重构SERP的用户行为数据，评估该方法在多语言、多样场景下的表现。采用逆概率评分（IPS）校正偏差，结合模型提示优化，提升评判的用户偏好一致性。实验中比较纯语义评估与行为增强评估，验证后者在模糊、长尾查询中表现更优。
关键结果
- 整体相关性排名（Spearman 𝜌）提升约5%，在争议案例中提升达91%，显著改善模型偏离用户偏好的情况。
- 在五种语言的多语种人工标注数据中，行为基础方法使相关性提升15%。
- 在真实A/B测试中，行为基础评判与实际用户偏好更为一致，显示其在实际系统中的应用潜力。
研究意义
该研究突破了传统语义评估的局限，通过引入用户行为信号，显著增强LLM评判的实用性和可靠性，为大规模搜索系统的自动评估提供了新思路。特别是在多语种、多样化查询场景中，有助于提升搜索体验的个性化和精准度，推动智能搜索技术向更贴近用户实际需求的方向发展。
技术贡献
创新点在于引入QRI卡作为轻量级、可审计的行为证据，结合逆概率评分校正偏差，优化LLM的相关性判断。提出的模型框架兼容多语言、多场景，增强了模型的鲁棒性和可解释性，为LLM在信息检索中的应用提供了新的技术路径。
新颖性
首次将用户历史交互数据系统性融入LLM搜索评估，通过QRI卡实现行为证据的可审计性，显著改善模糊和争议查询的相关性判断，与现有纯语义模型相比，提供了更符合用户偏好的评估机制。
局限性
- 模型在极端冷启动场景下表现仍有限，行为信号稀疏时难以充分发挥优势。
- 偏差校正依赖于准确的点击模型和偏好估计，存在一定的模型依赖性。
- 实时应用中，行为数据的更新频率和存储成本仍是挑战。
未来方向
未来将探索更丰富的行为信号（如停留时间、二次点击）以增强评估效果，结合多模态信息提升模型理解能力，并在更大规模、多领域场景中验证其泛化能力。
AI 总览摘要
在现代搜索系统中，随着模型和数据的快速演进，传统的人工质量评估难以满足实时和大规模的需求。本文提出一种结合用户行为信号的LLM搜索评估方法，通过引入Query-Relevance-Impressions（QRI）卡，将历史交互数据作为轻量级证据，增强模型对模糊和长尾查询的理解能力。在Spotify的音乐搜索场景中，基于6000个重构SERP的实证研究显示，该方法在整体相关性排名中提升约5%，在争议案例中提升达91%，显著改善模型偏离用户偏好的情况。多语种数据分析进一步验证了其在多语言环境中的有效性，相关性提升达15%。在实际A/B测试中，行为基础评判与用户偏好更为一致，展现出良好的工业应用潜力。这一创新机制不仅提升了搜索评估的可靠性，也为未来智能搜索系统的个性化和精准化提供了技术支撑。尽管仍存在冷启动、偏差校正依赖等挑战，但该研究为大规模搜索系统的自动化评估开辟了新路径，具有重要的理论和实践意义。
深度分析
研究背景
随着搜索引擎和推荐系统的快速发展，评估方法也在不断演进。传统依赖人工标注的评估方式难以应对大规模、多语种、多场景的需求。近年来，LLM（大型语言模型）在自动相关性评估中展现潜力，但其单纯基于语义和世界知识的判断在模糊或多义场景中偏离用户实际偏好。行为信号（如点击、停留时间）被视为潜在的宝贵证据，但尚未充分融合到LLM评估中。现有研究多关注模型的可解释性和可靠性，尝试结合外部证据或偏差校正技术以提升性能，但缺乏系统性整合用户行为的机制。本文在此背景下提出行为基础的LLM评判框架，旨在弥补语义推理的不足，增强模型的实用性和可信度。
核心问题
核心问题在于，纯语义的LLM评判在面对模糊、长尾或多义查询时，容易偏离用户真实偏好，导致评估结果不可靠。传统方法缺乏对用户实际交互行为的利用，无法有效解决多义性和偏差问题。此外，现有评估机制难以在大规模、多语种环境中实现快速、可审计的自动化，限制了其在实际系统中的应用。如何结合用户行为数据，设计一种既能保持语义推理优势，又能反映用户偏好的评估机制，成为亟待解决的关键问题。
核心创新
本研究的创新点在于引入QRI卡，将用户历史交互数据作为轻量级、可审计的证据，结合逆概率评分（IPS）校正偏差，增强LLM的相关性判断能力。通过在模型提示中融入行为证据，模型在模糊场景中表现更贴近用户偏好。与传统纯语义模型不同，本文实现了行为证据的系统性整合，提升了模型的鲁棒性和可解释性。该方法还在多语种、多场景中验证了其广泛适用性，为大规模搜索系统的自动评估提供了新思路。
方法详解
- �� 构建QRI卡：从搜索日志中提取历史查询与结果交互，采用IPS校正偏差，生成每个结果的行为证据。• 结合模型提示：在LLM评判中加入QRI信息，作为支持性证据，辅助判定模糊或争议查询。• 评估机制：在Spotify音乐搜索中，比较纯语义（P）与行为增强（BG）两种评判，利用真实用户交互数据和人工标注数据进行验证。• 逆概率评分：校正点击偏差，确保行为信号的真实性。• 过滤近似重复查询：避免信息泄露，确保评估的公平性。• 结合多语言数据：验证方法在多语种环境中的有效性。• 统计分析：使用Spearman和Kendall相关系数评估模型与用户偏好的匹配程度。
实验设计
采用Spotify真实搜索日志，抽取约5000个查询，构建重构SERP，评估6000个样本。比较纯语义模型与行为基础模型的相关性排名，分析争议案例和多语种表现。采用偏差校正的点击数据作为行为证据，结合模型提示生成评判。在实际A/B测试中，采集用户偏好偏差，验证模型的实际应用效果。关键指标包括Spearman 𝜌、Kendall 𝜏及在线偏好一致性，进行统计显著性检验，确保结果的可靠性。
结果分析
行为基础模型在整体排名中提升相关性指标约5%，在争议案例中提升达91%，显著优于纯语义模型。多语种数据中，相关性提升15%。在A/B测试中，行为模型与用户偏好一致性提高，偏差显著减少，验证了其实际应用价值。这些结果表明，结合用户行为信号能有效弥补语义推理的不足，提升搜索评估的准确性和信任度。
应用场景
该方法可广泛应用于搜索引擎、推荐系统、内容过滤等场景，尤其适合多语种、多样化查询环境。通过引入行为证据，系统能更贴近用户实际需求，提升个性化体验。未来还可结合更多行为指标（如停留时间、二次点击）进一步优化评估效果。
局限与展望
模型在极端冷启动场景下表现有限，行为数据稀疏时难以充分利用。偏差校正依赖于点击模型的准确性，存在一定偏差风险。实时应用中，行为数据的存储和更新成本较高，需优化算法和系统架构。未来需结合多模态信号，提升模型的泛化能力和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂里有很多不同的机器，每台机器都在生产不同的产品。有时候，工厂需要判断某台机器是否正常工作，但只看机器的外表（就像用语义判断），可能会误判。于是，工厂还会查看工厂的历史记录，比如这台机器过去的生产数据、维修记录（就像用户的交互行为），用这些信息作为证据，帮助判断是否正常。这样，工厂的判断就更靠谱，也更贴近实际情况。这个方法就是用用户过去的行为数据，帮助AI更准确地评估搜索结果的相关性，就像工厂用历史记录来判断机器状态一样。
简单解释 像给14岁少年讲一样
想象你在学校里，有很多不同的老师在给你评分。有时候，老师只看你的答案是不是对的（像用语义判断），但有时候他们还会看看你平时的表现，比如你平时喜欢做什么、参加了哪些活动（就像用户的交互行为）。如果你平时经常参加篮球比赛，老师可能会觉得你对体育题目更感兴趣。这样，老师的评分就会更贴近你的真实兴趣。这个方法就是让AI也参考用户过去的行为，帮助它更准确地判断搜索结果是不是符合用户的偏好，就像老师用你的表现来打分一样。
术语表
QRI卡 (Query-Relevance-Impressions Card)
一种总结用户历史交互的证据卡，包含查询、相关性估计和曝光量，用于增强评判的可靠性。
本文中用以作为行为证据支持的关键工具。
逆概率评分 (Inverse Propensity Scoring, IPS)
一种校正偏差的统计方法，通过调整点击偏差，获得更真实的相关性估计。
用于校正用户交互数据中的偏差，确保行为信号的真实性。
Spearman 𝜌 (斯皮尔曼相关系数)
衡量两个变量排序一致性的非参数指标，值范围[-1,1]。
用于评估模型与用户偏好排序的相关性。
Kendall 𝜏 (肯德尔秩相关系数)
衡量两个排序之间一致性的统计指标，值范围[-1,1]。
作为相关性评估的补充指标。
重构SERP (Recomposed Search Engine Results Page)
通过重新组合真实搜索结果，模拟不同质量配置的搜索页面。
用于实验中测试模型在不同排序下的表现。
开放问题 这项研究留下的未解疑问
- 1 如何进一步融合多模态行为信号（如停留时间、二次点击）以提升评估鲁棒性仍待探索。
- 2 模型在极端冷启动场景下的表现不足，需设计更有效的少样本学习策略。
原文摘要
Large-scale search systems evolve faster than human quality assurance can scale, especially for long-tail intents and multilingual queries. LLM-as-a-judge approaches provide a scalable alternative for evaluating the relevance of search engine result pages (SERPs), but judgments based solely on semantic similarity or world knowledge can drift from actual user preferences, particularly for ambiguous queries. We introduce a behavior-grounded LLM judge that augments each SERP item with a lightweight and auditable behavioral prior in the form of a Query-Relevance-Impressions (QRI) card. Each card summarizes how users have historically interacted with similar queries and results, providing compact empirical evidence that the judge can cite to resolve ambiguity and make more consistent relevance judgments while still relying on semantic reasoning. In a large-scale music search evaluation at Spotify, using relevance estimates derived from historical user interactions across 6,000 recomposed SERPs, the behavior-grounded judge achieves stronger alignment with user preferences, improving Spearman rank correlation by approximately 5% overall and yielding a 91% relative improvement on disagreement cases. On a multilingual human-judged dataset spanning five languages, grounding further increases correlation with human relevance judgments by 15%. Importantly, when evaluated against outcomes from a live A/B test, the grounded judge shows consistently higher alignment with the observed winning model. While absolute alignment remains moderate, these findings demonstrate that lightweight behavioral grounding can improve the reliability and practical usefulness of LLM-based evaluation in real-world search systems.