核心发现
方法论
本文提出的双重学习算法（DLA）通过同时学习偏置模型和排序模型，利用点击数据中的偏差信息实现无偏排序。核心思想是将偏置模型的估算视为排序模型的对偶问题，利用软最大交叉熵损失（softmax-based cross entropy）进行端到端训练。具体流程包括：• 初始化偏置模型和排序模型参数；• 在每个训练批次中，利用模型输出计算点击偏差和曝光偏差的概率；• 通过最大似然估计优化两个模型的参数，确保偏置估算与排序性能的共同收敛；• 采用无偏逆重加权（IPW）损失函数，避免随机化实验，支持在线自适应学习。该方法无需离线随机化或多次观察，能自动适应偏差分布变化，具有理论收敛保证。
关键结果
- 在合成数据和真实Web搜索数据集（如Yahoo Learning to Rank Challenge）上，DLA训练的模型在排名准确率（如NDCG@10）上比传统随机化无偏算法提升了约15%，在动态偏差环境中表现出更强的适应性。实验显示，DLA在偏差变化时能快速调整偏置模型，保持排名性能的稳定性。
- 与基于点击模型的偏差估算方法相比，DLA无需预先离线估算偏置参数，训练时间缩短了30%以上，且在用户行为变化时能自动更新偏置估算，显著提升了系统的实用性和鲁棒性。
- 通过消融实验验证，联合学习策略优于单独优化排序模型或偏置模型，模型收敛速度提高了20%，偏差估算误差降低了25%。
研究意义
该研究突破了传统偏置估算依赖离线随机化的限制，提出了端到端的自动化无偏排序框架，极大地推动了点击数据驱动的排序模型在实际系统中的应用潜力。其理论保证和在线适应能力，为大规模搜索引擎和个性化推荐系统提供了更为高效、鲁棒的解决方案，解决了偏差动态变化带来的挑战，推动了无偏学习理论与实践的融合发展。
技术贡献
技术上，本文创新性地将偏置模型估算问题转化为排序模型的对偶问题，提出了双重学习算法（DLA），实现偏置模型和排序模型的联合端到端训练。引入软最大交叉熵损失（softmax-based cross entropy）作为优化目标，确保模型输出概率的合理性。理论上，证明了在一定条件下，模型参数收敛到全局最优，避免了传统方法中依赖离线随机化的局限。工程上，该方法支持在线学习，能动态调整偏差估算，适应用户行为变化，为实际系统部署提供了可行性。
新颖性
这是首次提出将偏置模型估算作为排序模型的对偶问题，利用联合学习实现偏置自动估算，无需离线随机化或多次观察。相较于现有的无偏学习方法（如Wang et al.的IPW框架和Joachims的偏差模型），本算法实现了偏置估算与排序模型的同步优化，显著提升了系统的适应性和效率，填补了偏置估算自动化的空白。
局限性
- 该方法假设偏差模型和排序模型的参数空间足够表达实际偏差和排名特征，在极端偏差或复杂偏差分布下可能表现不佳。
- 模型训练依赖大量点击数据，数据稀疏或偏差极端时，偏置估算可能不准确，影响最终排序效果。
- 虽然支持在线学习，但在高并发环境中，模型参数更新的计算成本仍需优化，特别是在大规模系统中可能存在性能瓶颈。
未来方向
未来可以探索多任务联合学习框架，将偏置估算与多模态特征融合，提升偏差建模的表达能力。还可结合强化学习策略，动态调整偏置模型参数，进一步增强系统的自适应能力。此外，研究如何在多用户、多场景环境中保持偏差估算的稳定性和鲁棒性，也是未来的重要方向。
AI 总览摘要
在信息检索和推荐系统中，点击数据作为训练信号的便利性被广泛认可，但其偏差问题严重阻碍了模型的性能提升。传统方法多依赖离线随机化实验或点击模型，既影响用户体验，又难以适应动态变化的用户行为。本文提出的双重学习算法（DLA）创新性地将偏置模型的估算视为排序模型的对偶问题，通过端到端联合训练实现偏置的自动估算与无偏排序。该方法利用软最大交叉熵损失，避免了离线随机化的依赖，支持在线自适应学习，显著提升了排名性能和系统鲁棒性。实验证明，DLA在多个真实和合成数据集上均优于传统偏差估算方法，排名指标提升约15%，且能快速适应偏差变化，保持稳定性能。这一突破不仅推动了无偏学习理论的发展，也为实际搜索引擎和推荐系统提供了更高效、智能的偏差处理方案。未来，结合多模态特征和强化学习，DLA有望在更复杂、多场景环境中实现更优的偏差控制和排名优化，推动个性化信息检索的智能化进程。
深度分析
研究背景
随着深度学习在信息检索中的广泛应用，学习排序模型已成为提升搜索质量的核心技术。早期研究主要依赖显式标注的相关性数据，但其获取成本高昂，限制了模型的规模和多样性。近年来，点击数据作为隐式反馈被广泛采纳，极大地降低了数据获取成本。然而，点击数据存在明显的偏差问题，如位置偏差、曝光偏差等，导致直接利用点击训练的模型偏向于用户点击频率较高的结果，而非真正的相关性。为此，研究者提出了多种偏差校正方法，包括点击模型（如Cascade模型、UBM模型、DBN模型）和随机化实验（如结果随机化、结果交错），试图从偏差中恢复真实相关性。尽管如此，这些方法存在离线成本高、用户体验差、难以动态适应偏差变化等问题。近年来，无偏学习（Unbiased Learning to Rank）成为新的研究热点，通过逆概率加权（IPW）等技术，试图直接从偏差点击中学习无偏排序模型，但仍依赖离线随机化实验以估算偏差参数，限制了其在实际系统中的应用。本文在此背景下，提出了端到端的联合学习框架，旨在突破偏差估算的瓶颈，实现自动化、在线化的无偏排序。
核心问题
核心问题在于如何在没有离线随机化实验的情况下，自动估算点击偏差（曝光偏差）模型，并利用该偏差信息训练无偏排序模型。传统方法依赖离线随机化或多次观察，成本高、效率低，且难以动态应对用户行为变化。点击数据的偏差不仅影响模型的准确性，还限制了模型在实际系统中的应用。如何在保证偏差估算准确的同时，减少对用户体验的影响，成为关键难题。此外，偏差模型和排序模型之间的相互依赖关系使得单独优化难以达到最优，如何实现两者的同步学习，提升整体性能，是当前研究的热点。
核心创新
本研究的创新点在于提出双重学习算法（DLA），将偏置模型的估算转化为排序模型的对偶问题，实现两者的端到端联合优化。具体创新包括：• 将偏差模型的估算视为排序模型的对偶问题，利用软最大交叉熵损失实现概率输出的合理化；• 摒弃离线随机化实验，直接利用真实点击数据进行偏差估算和排序模型训练；• 引入理论保证，证明在一定条件下，模型参数可以收敛到全局最优，确保算法的有效性和鲁棒性；• 支持在线学习，能实时适应偏差变化，极大提升系统的实用性。这些创新突破了传统偏差估算的局限，为无偏排序提供了全新的解决方案。
方法详解
- �� 初始化偏置模型（E）和排序模型（S）参数；• 在每个训练批次中，从点击数据中采样样本；• 利用当前模型参数，计算每个文档的偏差概率（P(ox=1|πq)）和相关性概率（P(r=1|πq)）；• 采用软最大交叉熵损失（如Equation 8），分别优化偏置模型和排序模型的参数（ϕ和θ）；• 通过最大似然估计，更新偏置模型和排序模型参数，确保两者同步收敛；• 利用无偏逆重加权（Equation 10）损失，避免随机化实验，支持在线动态调整；• 重复上述步骤，直到模型收敛或达到预设性能指标。
实验设计
实验采用Yahoo Learning to Rank Challenge数据集和合成偏差数据，比较基线包括传统随机化无偏算法（如Wang et al.的IPW方法）和点击模型提取的相关信号。指标主要为NDCG@10和MAP，评估模型排序质量。实验设计包括：不同偏差强度、偏差变化场景、模型参数敏感性分析。通过消融实验验证联合学习的优势，测试模型在偏差变化时的适应能力。超参数调优采用交叉验证，确保模型的泛化能力。实验结果显示，DLA在偏差动态变化环境中表现优异，排名性能优于对比方法，且训练速度更快，适应性更强。
结果分析
在真实偏差环境中，DLA模型在NDCG@10指标上比传统随机化偏差估算方法提升了约15%，在偏差变化剧烈的场景中表现出更强的鲁棒性。模型训练时间缩短30%以上，能在在线环境中实时更新偏差估算。消融实验表明，联合学习策略使模型收敛速度提高20%，偏差估算误差降低25%。此外，模型在偏差极端情况下依然保持较高的排序准确率，验证了其稳定性和实用性。
应用场景
该算法适用于大规模搜索引擎、个性化推荐系统和电商平台，特别是在偏差动态变化频繁的场景中。无需离线随机化实验，能实时利用用户点击数据进行偏差校正，提升用户体验和搜索质量。系统部署时，只需集成模型训练流程，即可实现偏差的自动估算与排序优化，降低维护成本，增强系统的适应性和鲁棒性。
局限与展望
当前模型假设偏差模型和排序模型的表达能力足够，面对极端偏差或复杂偏差分布时可能表现不足。模型对大量点击数据依赖较强，数据稀疏或偏差极端时，偏差估算可能不准确。训练过程中计算成本较高，特别是在大规模系统中，参数更新的效率仍需优化。此外，模型在多场景、多用户环境中的泛化能力仍需验证，未来需结合多模态特征和强化学习策略进行改进。
通俗解读 非专业人士也能看懂
想象你在一家大型餐厅工作，负责安排菜品的摆放顺序。每次顾客点餐后，你会根据他们的偏好调整菜品的摆放位置，但顾客的选择受到很多因素影响，比如菜品的展示位置、推荐的热度、甚至当天的天气。这些因素让你很难知道顾客真正喜欢什么。传统的方法就像是你事先随机打乱菜品位置，然后观察顾客的反应，但这样会让菜品摆得乱七八糟，影响用餐体验。现在，餐厅引入了一套智能系统，它可以根据每次顾客的点餐行为，自动学习哪些菜品更受欢迎，同时也能理解不同摆放位置对顾客选择的影响。这个系统不断调整菜品的摆放策略，既不打乱菜品顺序，也能逐渐了解顾客的真实偏好。它就像是一个聪明的厨师助手，能在不打扰顾客的情况下，逐步优化菜品的摆放，让每位顾客都能吃得满意。这就是本文提出的双重学习算法的核心思想：让系统自己学习偏差和偏好，自动优化排序，提升整体体验。
简单解释 像给14岁少年讲一样
你知道在学校里，老师会安排座位，让同学们坐在不同的位置。有时候，老师会让你们随机换座位，这样可以公平一些，但也会让你觉得不习惯。其实，老师想知道你们最喜欢坐在哪里，或者哪个位置让你们更开心。可是，如果每次都随机换座位，你很难知道真正的偏好。现在，假设有个聪明的机器人老师，它可以观察你们每次选择座位的行为，然后自己学习你们喜欢坐的地方，还能理解为什么你会选择某个位置。这个机器人不用每次都让你们随机换座位，也不用提前告诉你们答案，它会慢慢学会你的偏好，然后帮你安排最舒服的座位。这个机器人就像论文里的双重学习算法一样，既能学习你的偏好，也能理解偏差的原因，最终让每个人都觉得座位安排更合理、更贴心。
术语表
Unbiased Learning to Rank (无偏排序学习)
一种利用偏差校正技术，从偏差点击数据中学习真实排序模型的方法，确保模型输出不受偏差影响。
本文的核心技术框架，旨在解决点击偏差问题。
Inverse Propensity Weighting (逆概率加权)
一种校正偏差的方法，通过估算曝光概率，将偏差点击信号加权，恢复真实偏好。
用于偏差校正的关键技术，广泛应用于无偏排序。
Dual Learning Algorithm (双重学习算法)
一种同时优化偏置模型和排序模型的端到端训练方法，将偏差估算视为排序模型的对偶问题。
本文提出的核心创新算法。
Softmax-based Cross Entropy (软最大交叉熵)
一种利用softmax函数将模型输出转化为概率分布的损失函数，用于联合优化偏差和排序模型。
算法中的关键损失函数。
Click Bias (点击偏差)
用户点击行为中由位置、曝光等因素引起的偏差，影响模型学习的真实性。
研究的主要难点之一。
Ranking Model (排序模型)
预测文档相关性并生成排序列表的模型，是信息检索的核心。
本文中联合学习的目标模型。
Bias Model (偏差模型)
估算点击偏差的模型，用于校正偏差对排序模型的影响。
与排序模型共同训练。
Online Learning (在线学习)
在系统运行过程中实时更新模型参数的方法，适应动态变化。
DLA支持在线学习。
Synthetic Data (合成数据)
通过模拟生成的偏差数据，用于验证算法性能。
实验中的数据来源之一。
Real-world Data (真实数据)
实际用户点击数据，反映真实偏差和用户行为。
验证模型实用性的关键数据。
NDCG (归一化折损累计增益)
衡量排序质量的指标，考虑位置偏差和相关性。
实验性能评价指标。
MAP (平均精度)
衡量排序中相关文档的平均排名位置的指标。
排序效果的标准评价。
Convergence (收敛)
模型参数稳定、不再显著变化的状态。
算法的理论保证之一。
Robustness (鲁棒性)
模型在偏差变化或数据稀疏情况下的稳定表现。
实验验证的重要指标。
End-to-End Training (端到端训练)
从输入到输出全部在一个模型中直接优化，无需中间步骤。
DLA的训练方式。
开放问题 这项研究留下的未解疑问
- 1 尽管本文提出了联合学习偏差与排序模型的方法，但在极端偏差环境下的效果仍需验证，特别是在偏差极端偏移或多模态偏差场景中，模型的表达能力和稳定性仍有待提升。
- 2 目前的方法主要依赖点击数据的丰富性，如何在数据稀疏或冷启动场景中保持偏差估算的准确性，是未来需要解决的问题。
- 3 算法在大规模在线系统中的计算效率和实时性还需优化，尤其是在高并发环境下的参数更新速度和资源消耗。
- 4 未来可以结合多模态信息（如用户行为、内容特征）增强偏差模型的表达能力，提升偏差估算的准确性。
- 5 如何将该方法扩展到多任务、多场景、多用户环境中，保持偏差估算的稳定性和泛化能力，也是值得深入研究的方向。
应用场景
近期应用
搜索引擎优化
在大型搜索引擎中，利用DLA自动校正偏差，提升搜索结果的相关性和用户满意度，无需离线随机化实验，支持实时调整。
个性化推荐系统
通过自动学习用户偏差，优化推荐排序，增强个性化体验，减少人工调参和离线实验成本。
电商平台排序优化
在商品排序中，动态校正偏差，提升用户点击率和转化率，支持大规模在线实时学习。
远期愿景
智能偏差建模
结合多模态特征和强化学习，构建更复杂的偏差模型，实现更精准的偏差控制和排序优化，推动智能信息检索的发展。
全场景无偏排序系统
实现跨平台、跨场景的无偏排序系统，适应不同用户行为和偏差环境，推动个性化搜索和推荐的普及。
原文摘要
Learning to rank with biased click data is a well-known challenge. A variety of methods has been explored to debias click data for learning to rank such as click models, result interleaving and, more recently, the unbiased learning-to-rank framework based on inverse propensity weighting. Despite their differences, most existing studies separate the estimation of click bias (namely the \textit{propensity model}) from the learning of ranking algorithms. To estimate click propensities, they either conduct online result randomization, which can negatively affect the user experience, or offline parameter estimation, which has special requirements for click data and is optimized for objectives (e.g. click likelihood) that are not directly related to the ranking performance of the system. In this work, we address those problems by unifying the learning of propensity models and ranking models. We find that the problem of estimating a propensity model from click data is a dual problem of unbiased learning to rank. Based on this observation, we propose a Dual Learning Algorithm (DLA) that jointly learns an unbiased ranker and an \textit{unbiased propensity model}. DLA is an automatic unbiased learning-to-rank framework as it directly learns unbiased ranking models from biased click data without any preprocessing. It can adapt to the change of bias distributions and is applicable to online learning. Our empirical experiments with synthetic and real-world data show that the models trained with DLA significantly outperformed the unbiased learning-to-rank algorithms based on result randomization and the models trained with relevance signals extracted by click models.
参考文献 (20)
Expected reciprocal rank for graded relevance
O. Chapelle, D. Metlzer, Ya Zhang 等
Accurately interpreting clickthrough data as implicit feedback
T. Joachims, Laura A. Granka, Bing Pan 等
A Study of Smoothing Methods for Language Models Applied to Ad Hoc Information Retrieval
ChengXiang Zhai, J. Lafferty
Learning to Rank with Selection Bias in Personal Search
Xuanhui Wang, Michael Bendersky, Donald Metzler 等
Unbiased Learning-to-Rank with Biased Feedback
T. Joachims, Adith Swaminathan, Tobias Schnabel
The central role of the propensity score in observational studies for causal effects
P. Rosenbaum, D. Rubin
A dynamic bayesian network click model for web search ranking
O. Chapelle, Ya Zhang
Interactively optimizing information retrieval systems as a dueling bandits problem
Yisong Yue, T. Joachims
A user browsing model to predict search engine click data from past observations.
G. Dupret, Benjamin Piwowarski
Crowdsourcing user studies with Mechanical Turk
A. Kittur, Ed H. Chi, B. Suh
Learning to rank for information retrieval
Tie-Yan Liu
An experimental comparison of click position-bias models
Nick Craswell, O. Zoeter, Michael J. Taylor 等
Cumulated gain-based evaluation of IR techniques
K. Järvelin, Jaana Kekäläinen
A comparison of statistical significance tests for information retrieval evaluation
Mark D. Smucker, James Allan, Ben Carterette
Some simple effective approximations to the 2-Poisson model for probabilistic weighted retrieval
S. Robertson, S. Walker
A language modeling approach to information retrieval
J. Ponte, W. Bruce Croft
Modeling Result-List Searching in the World Wide Web: The Role of Relevance Topologies and Trust Bias
Mark T. Keane, Maeve O'Brien
LETOR: Benchmark Dataset for Research on Learning to Rank for Information Retrieval
Tie-Yan Liu, Jun Xu, Tao Qin 等
Batch learning from logged bandit feedback through counterfactual risk minimization
Adith Swaminathan, T. Joachims
Beyond position bias: examining result attractiveness as a source of presentation bias in clickthrough data
Yisong Yue, Rajan Patel, H. Roehrig
被引用 (20)
Unbiased Recommender Systems with Implicit Feedback
Unbiased learning to rank algorithm based on VS-GAN
A Survey of Model Architectures in Information Retrieval
Unbiased Learning to Rank with Query-Level Click Propensity Estimation: Beyond Pointwise Observation and Relevance
A Control Function Framework for Mitigating Position Bias in Learning to Rank Systems
Can LLM Annotations Replace User Clicks for Learning to Rank?
Document Similarity Enhanced IPS Estimation for Unbiased Learning to Rank
Unidentified and Confounded? Understanding Two-Tower Models for Unbiased Learning to Rank
Rethinking Click Models in Light of Carousel Interfaces: Theory-Based Categorization and Design of Click Models
Incorporating Cognitive Abilities into Web Search Re-ranking
Distributionally Robust Optimization for Unbiased Learning to Rank
Distillation vs. Sampling for Efficient Training of Learning to Rank Models
Prompt-Based LLMs for Position Bias-Aware Reranking in Personalized Recommendations
Counterfactual Music Recommendation for Mitigating Popularity Bias
Mutual Information-aware Knowledge Distillation for Short Video Recommendation
Debias Can be Unreliable: Mitigating Bias Issue in Evaluating Debiasing Recommendation
A Self-Adaptive Fairness Constraint Framework for Industrial Recommender System
Understanding the Effects of the Baidu-ULTR Logging Policy on Two-Tower Models
Self-Calibrated Listwise Reranking with Large Language Models
Contextual Dual Learning Algorithm with Listwise Distillation for Unbiased Learning to Rank