核心发现
方法论
本文提出一种双重逆倾向加权（DualIPW）机制，结合查询级与位置级点击倾向估计，解决传统ULTR模型中存在的相关偏差。核心算法基于逆倾向加权（IPW）思想，利用查询级点击倾向模型h(cs)和位置级倾向模型g(k)，通过交替优化实现无偏排序。查询级模型采用LSTM编码列表中点击序列的对数比，预测查询整体点击倾向，位置级模型则借鉴DLA的思想，调整位置偏差。该方法在理论上证明可学习无偏排序模型，实证验证在百度ULTR数据集上优于SOTA方法。
关键结果
- 在百度ULTR数据集上，DualIPW在nDCG@10指标上提升0.5%以上，ERR@10提升0.6%以上，显著优于DLA、UPE等基线。实验显示，结合查询级与位置级倾向估计的模型能有效缓解相关偏差，特别在低频查询中表现更优。
- 消融实验表明，单独使用位置级或查询级倾向模型均不及双重机制，验证两者结合的必要性。模型对复杂偏差具有更强鲁棒性，提升了实际应用中的排序公平性。
- 在不同查询频率层级中，DualIPW在低频查询中性能提升最明显，说明其在稀疏数据环境下具有优势。点击权重分析显示，模型更合理地调整了不同位置的点击偏差，反映出更真实的用户行为。
研究意义
该研究突破了传统位置偏差校正的局限，提出考虑查询整体偏好的新视角，丰富了偏差建模理论。其在实际搜索引擎中的应用，有助于提升排序公平性与用户体验，推动无偏学习排序技术的落地。该方法对大规模真实场景中的偏差缓解具有重要意义，为未来个性化与公平性研究提供了新思路。
技术贡献
技术上，本文首次将查询级点击倾向引入ULTR框架，结合位置级偏差，提出双重逆倾向加权机制，具有明确的理论保证。模型设计兼顾复杂偏差的多层次特性，优化算法实现高效训练，显著优于现有单一偏差校正方法。理论证明确保模型无偏性，实验证明其在真实大规模数据上的优越性，为偏差校正提供了新范式。
新颖性
本研究创新点在于引入查询级点击倾向，突破以往仅关注位置偏差的局限，提出双重逆倾向机制，系统性缓解相关偏差。首次将列表中点击序列的全局信息融入偏差估计，提升模型鲁棒性和泛化能力，填补了大规模真实场景中偏差建模的空白。
局限性
- 模型假设点击概率由相关性、观察概率和查询偏好共同决定，可能未充分考虑用户个性化行为差异。对于极端偏差或极少点击场景，模型效果仍有限。训练过程中对模型参数敏感，需大量调优，计算成本较高。未来需结合用户画像，提升个性化偏差估计能力。
未来方向
未来将探索多模态特征融入偏差模型，提升个性化能力。考虑动态偏差变化，结合用户行为序列进行时序建模。还将研究多任务学习框架，兼顾排序公平性与点击预测的平衡，推动偏差缓解技术在多场景中的应用落地。
AI 总览摘要
在信息检索领域，学习排序模型的偏差问题一直是制约其性能提升的关键难题。传统方法多依赖位置偏差假设，忽视用户行为的复杂性，导致模型在真实场景中存在偏差偏移。本文提出的DualIPW机制，创新性地结合了查询级与位置级点击倾向估计，系统性缓解了相关偏差。核心思想是引入查询级点击倾向模型h(cs)，利用序列信息预测用户对整个结果列表的偏好，从而调整偏差估计的权重。与此同时，位置偏差通过借鉴DLA的思想进行校正。该方法在理论上证明可学习无偏排序模型，实证验证在百度ULTR大规模数据集上取得优异表现，超越了多项SOTA基线。实验结果显示，DualIPW在低频查询中表现尤为突出，有效提升了排序公平性与准确性。这一研究不仅丰富了偏差建模的理论体系，也为实际搜索引擎的偏差缓解提供了可行方案。未来，结合用户个性化特征、多模态信息，将进一步推动无偏排序技术的应用普及，改善用户体验，推动搜索技术的公平与智能发展。
深度分析
研究背景
近年来，学习排序（LTR）技术在搜索引擎中取得巨大成功，但偏差问题始终困扰其性能。早期研究多基于位置偏差模型（PBM），假设用户点击由位置和相关性共同决定，采用逆倾向加权（IPW）校正偏差。代表性工作如DLA、UPE、IOBM等，试图通过模型估计偏差概率，缓解偏差影响。然而，真实场景中用户行为更复杂，偏差来源多样，包括用户耐心、信息满足度等，导致模型在实际应用中表现不佳。尤其在大规模真实数据中，偏差的多层次、多维度特性未被充分捕捉，限制了偏差校正的效果。
核心问题
核心问题在于现有ULTR方法多依赖位置偏差假设，忽视用户行为的多样性和查询整体偏好，导致偏差估计不足。尤其是在复杂偏差环境下，模型易受假阴性和偏差累积影响，难以学习真实的排序关系。如何结合查询层面整体偏好信息，准确估计点击倾向，成为提升无偏排序的关键。该问题难点在于偏差的多源、多尺度特性，以及大规模数据的高效建模需求。
核心创新
本研究的创新点包括：1）引入查询级点击倾向模型，利用点击序列的全局信息，估算用户对整个结果列表的偏好；2）提出双重逆倾向加权机制，将查询级与位置级偏差同时校正，增强模型鲁棒性；3）采用序列模型（LSTM）编码点击序列的对数比，提升偏差估计的准确性。这些创新突破了传统只关注位置偏差的局限，系统性缓解了相关偏差，显著改善了模型在真实场景中的表现。
方法详解
- �� 输入：查询-文档对特征、点击序列。
- �� 查询级偏差模型：利用LSTM编码点击序列的对数比，预测查询整体点击倾向h(cs)。
- �� 位置级偏差模型：借鉴DLA思想，估计每个位置的偏差g(k)。
- �� 逆倾向加权：结合模型输出，计算无偏损失函数，优化排序模型f。
- �� 训练过程：交替优化查询偏差模型和排序模型，确保偏差估计的准确性。
- �� 目标：最大化无偏排序性能指标（如nDCG）同时减缓偏差影响。
实验设计
使用百度ULTR大规模搜索会话数据，包含14个特征，筛选出10+结果的会话。对比基线包括BM25、Naive、IPW、DLA、UPE、IOBM等。指标采用nDCG@10和ERR@10，进行5次随机种子平均。调参方面，采用AdamW优化器，学习率在2e-6到6e-6之间，训练2轮，批次大小30。模型在低频查询上表现尤为优越，验证了偏差缓解的有效性。
结果分析
DualIPW在nDCG@10上提升0.5%以上，ERR@10提升0.6%以上，明显优于DLA、UPE等。消融实验显示，查询级与位置级结合优于单一机制。低频查询中性能提升最明显，点击权重分析表明模型更合理调整偏差，反映用户真实行为。模型在真实偏差环境中表现优越，验证了理论假设。
应用场景
该方法适用于搜索引擎、推荐系统等场景，能有效缓解偏差，提高排序公平性和用户满意度。实现条件包括丰富的点击数据和特征信息，模型训练成本较高，但可显著改善偏差影响。未来可结合个性化特征，提升模型适应性。
局限与展望
模型假设偏差由相关性、观察概率和查询偏好共同决定，未充分考虑用户个性化差异。对极端偏差和稀疏点击场景效果有限，训练成本较高，参数调优复杂。未来需结合用户画像，提升偏差估计的个性化和效率。
通俗解读 非专业人士也能看懂
想象你在一家厨房里做饭，厨师想让每道菜都变得完美。可是，厨房里有个问题：某些食材总是被优先放在前面，厨师容易忽略后面的食材。为了让每个食材都能被公平对待，厨师设计了一个特殊的规则，考虑每个食材的“偏爱程度”和“摆放位置”。这样，他可以确保每个食材都能得到合理的烹饪时间，不会因为位置偏见而被忽略。这个规则就像论文中的DualIPW机制，既考虑整体偏好（查询偏好），也考虑单个位置的偏差（位置偏差），让菜肴更公平、更美味。它帮助厨师（搜索引擎）更好地理解每个食材（文档）的价值，从而做出更合理的选择。
简单解释 像给14岁少年讲一样
想象你在学校图书馆找书，很多书都摆在不同的架子上。有些书放在显眼的位置，大家都能看到；有些书藏在角落，可能没人注意到。你会不会只看前面几排就觉得所有书都差不多了？其实，很多好书可能在后面，只是因为位置不好看不到。这个论文就像在帮图书馆设计一种聪明的办法，让每本书都能被公平看到，不会因为摆放位置偏见而被忽略。它用一种特别的“魔法”——结合你对整个书架的偏好和每个位置的偏差，让你找到真正喜欢的书。这样一来，无论书放在哪里，都能被公平地推荐给你，让你找到最喜欢的那本。
原文摘要
Most existing unbiased learning-to-rank (ULTR) approaches are based on the user examination hypothesis, which assumes that users will click a result only if it is both relevant and observed (typically modeled by position). However, in real-world scenarios, users often click only one or two results after examining multiple relevant options, due to limited patience or because their information needs have already been satisfied. Motivated by this, we propose a query-level click propensity model to capture the probability that users will click on different result lists, allowing for non-zero probabilities that users may not click on an observed relevant result. We hypothesize that this propensity increases when more potentially relevant results are present, and refer to this user behavior as relevance saturation bias. Our method introduces a Dual Inverse Propensity Weighting (DualIPW) mechanism -- combining query-level and position-level IPW -- to address both relevance saturation and position bias. Through theoretical derivation, we prove that DualIPW can learn an unbiased ranking model. Experiments on the real-world Baidu-ULTR dataset demonstrate that our approach significantly outperforms state-of-the-art ULTR baselines. The code and dataset information can be found at https://github.com/Trustworthy-Information-Access/DualIPW.