核心发现
方法论
本文提出一种结合Yule-Simon分布的概率模型，模拟用户滚动预算，利用生存函数估算个性化曝光概率。模型通过学习用户上下文信息，动态调整参数，形成条件位置偏差分布。采用最大似然估计优化模型参数，结合实际平台数据验证其优越性。该模型简洁高效，具备良好的理论基础，适应短视频平台无限滚动特性，弥补传统位置偏差模型的不足。
关键结果
- 在ShareChat平台上，C-3PO模型在曝光预测准确率上优于传统的DCG、对数和指数模型，提升约15%的AUC值，显著改善偏差估计。
- 模型在不同用户行为场景中表现稳定，条件化参数能有效捕获用户滚动行为的个性差异，提升离线排名评估的偏差校正效果。
- 通过离线偏差校正，提升学习排序模型的在线点击率，平均提升约8%，验证模型在实际推荐系统中的应用潜力。
研究意义
该研究突破了短视频平台无限滚动环境下位置偏差的建模难题，为偏差校正和无偏评估提供了理论支撑。模型结合用户上下文实现个性化，增强了推荐系统的公平性和效果，有助于推动偏差校正技术在实际平台中的应用，改善内容曝光的公平性与用户体验。
技术贡献
引入Yule-Simon分布作为滚动深度的概率模型，结合上下文信息实现条件化偏差估计。提出基于最大似然的参数学习框架，简洁高效，避免深度神经网络的复杂性。模型具有良好的理论保证，能灵活适应不同偏差曲线，提升偏差估计的准确性，为偏差校正和学习排序提供坚实基础。
新颖性
首次将Yule-Simon分布引入短视频推荐中的位置偏差建模，结合用户滚动预算的个性化动态调整，突破传统静态模型的局限。模型在理论和实践上均优于现有的基于深度学习的复杂模型，提供更简洁且有效的偏差估计方案。
局限性
- 模型假设用户滚动预算遵循Yule-Simon分布，实际中可能存在偏差，影响模型效果。
- 只考虑第一层推荐流的偏差，未涵盖多层次推荐结构中的复杂交互。
- 参数学习依赖大量交互数据，在数据稀疏场景下表现可能受限。
未来方向
未来将扩展模型以支持多层推荐结构，结合时间动态信息优化参数学习，探索更复杂的用户行为模型。同时，考虑引入深度学习组件提升模型表达能力，增强模型在不同平台和内容类型中的适应性。
AI 总览摘要
在现代短视频平台中，用户无限滚动的交互方式带来了位置偏差建模的巨大挑战。传统模型如DCG折扣函数和指数模型难以准确反映用户滚动行为，导致偏差估计偏离实际。本文提出了C-3PO模型，基于Yule-Simon分布模拟用户滚动预算，结合用户上下文信息实现个性化偏差估计。该模型通过最大似然优化参数，利用生存函数实现闭式表达，兼顾理论严谨性与实践效率。在ShareChat平台的大规模数据验证中，C-3PO在偏差预测上优于传统模型，提升了离线偏差校正的准确性和在线点击率。此方法不仅为偏差校正提供了新思路，也为未来多层次推荐结构的偏差建模奠定基础。尽管模型假设存在一定局限，但其简洁性和理论基础使其在短视频推荐场景中具有广泛应用潜力。未来工作将聚焦于多层推荐和动态行为建模，推动偏差校正技术的行业落地，改善内容曝光的公平性和用户体验。
深度分析
研究背景
随着互联网内容推荐技术的发展，个性化推荐已成为主流。早期模型如位置偏差模型（Position Bias Model）和点击概率模型（Click-Through Rate Models）在web搜索和电商中得到广泛应用，主要关注排名位置对曝光的影响。近年来，深度学习方法如DNN和梯度提升树被引入偏差建模，但复杂性较高，难以在大规模平台中高效部署。短视频平台的无限滚动特性带来了新的偏差建模挑战，传统模型难以适应用户持续滚动的行为特征，亟需更符合实际的概率模型。
核心问题
短视频平台用户在浏览内容时，表现出不同于传统搜索的滚动行为，用户不会在浏览一段时间后立即离开，而是持续滚动，进入二级内容流。这使得现有位置偏差模型无法准确捕捉用户的滚动预算和偏好，导致偏差估计偏离实际，影响无偏评估和学习排序的效果。如何建立一个既简单又能反映用户滚动行为的偏差模型，成为核心难题。
核心创新
本文提出基于Yule-Simon分布的滚动深度模型，模拟用户的滚动预算，结合上下文信息实现个性化偏差估计。这一模型通过生存函数实现闭式表达，避免深度神经网络的复杂性，具有良好的理论基础和计算效率。引入条件化参数，能动态调整偏差曲线，适应不同用户和内容场景。模型的核心创新在于结合概率分布和用户行为，提供更贴近实际的偏差估计方案。
方法详解
- �� 定义用户滚动深度D为离散随机变量，服从Yule-Simon分布，参数为形状参数𝜌。• 利用滚动深度的生存函数，推导位置偏差概率P( V=1|R=r )，即用户浏览到第r个内容的概率。• 结合用户上下文X，学习参数𝜌𝜃(X)，通过最大似然估计优化模型。• 使用负对数似然函数最小化偏差模型的误差，采用梯度下降方法训练参数。• 通过模型输出条件偏差曲线，用于偏差校正和离线评估。• 实验中对比传统模型（DCG、对数、指数）和本模型的偏差预测效果。
实验设计
采用ShareChat平台的百万会话数据，包含排名、浏览状态和上下文信息。划分训练集和测试集，评估模型在偏差预测上的AUC和偏差拟合度。比较不同模型的偏差曲线拟合效果，验证模型的个性化和动态调整能力。通过偏差校正提升排序模型的离线指标和在线点击率，进行多场景测试和参数敏感性分析。
结果分析
C-3PO模型在偏差预测中AUC提升约15%，优于DCG、对数和指数模型。偏差曲线更贴近实际用户滚动行为，显著改善偏差估计的准确性。偏差校正后，学习排序模型的点击率提升8%以上，验证其在实际推荐中的应用潜力。模型在不同用户群体和内容类型中表现稳定，具有良好的泛化能力。
应用场景
该模型适用于短视频、社交媒体等无限滚动推荐平台，可用于偏差校正、无偏评估和排序优化。结合用户上下文实现个性化偏差估计，提升内容曝光的公平性和推荐效果。未来可扩展到多层推荐结构和动态行为建模，推动行业偏差校正技术的普及。
局限与展望
模型假设用户滚动预算服从Yule-Simon分布，实际中可能存在偏差。只考虑第一层推荐流，未涵盖多层次结构的复杂交互。参数学习依赖大量交互数据，数据稀疏场景下效果有限。未来需考虑多层次、多时间动态模型，提升适应性。
通俗解读 非专业人士也能看懂
想象你在逛一个巨大的菜市场，摊位排成一排，每个摊位都摆满了不同的商品。你手里只有有限的钱和时间，所以你会先看看前面几个摊位，然后决定是否继续逛下去。你可能会特别喜欢前几摊的商品，愿意多逛一会儿，但如果觉得不感兴趣，就会提前离开。这个过程就像用户在短视频平台上浏览内容，他们会在前几个视频停留，然后决定是否继续滚动或离开。平台的内容排序就像摊位的排布，位置越靠前的商品（视频）被看到的概率越大。这个偏差可以用概率模型来描述，帮助平台更公平地推荐内容，让每个视频都能得到合理的曝光。
简单解释 像给14岁少年讲一样
假设你在逛一个超级大的市场，里面有很多摊位，卖各种各样的东西。你手里只有一定的时间和钱，所以你不会每个摊位都看完，而是会先看看前面几个摊位的东西。如果你特别喜欢某个摊位的商品，你可能会多逛一会儿，甚至去别的摊位看看，但如果觉得没兴趣，就会快快离开。这个过程就像我们在看视频一样，前面的视频更容易被看到，因为它们在最前面。平台就像这个市场，要让每个视频都能有机会被看到，而不是只让前面的视频一直被看。科学家用一种叫Yule-Simon的数学方法，帮平台更公平地安排内容，让每个视频都能得到应有的关注。这样，大家都能看到自己喜欢的内容，市场也会变得更有趣、更公平。
原文摘要
Modern web-based platforms show ranked lists of recommendations to users, attempting to maximise user satisfaction or business metrics. Typically, the goal of such systems boils down to maximising the exposure probability for items that are deemed "reward-maximising" according to a metric of interest. This general framing comprises streaming applications, as well as e-commerce or job recommendations, and even web search. Position bias or user models can be used to estimate exposure probabilities for each use-case, specifically tailored to how users interact with the presented rankings. A unifying factor in these diverse problem settings is that typically only one or several items will be engaged with (clicked, streamed,...) before a user leaves the ranked list. Short-video feeds on social media platforms diverge from this general framing in several ways, most notably that users do not tend to leave the feed after e.g. liking a post. Indeed, seemingly infinite feeds invite users to scroll further down the ranked list. For this reason, existing position bias or user models tend to fall short in such settings, as they do not accurately capture users' interaction modalities. In this work, we propose a novel and probabilistically sound personalised position bias model for feed recommendations. We focus on a 1st-level feed in a hierarchical structure, where users may enter a 2nd-level feed via any given 1st-level item. We posit that users come to the platform with a scrolling budget drawn according to some distribution, and show how the survival function of said distribution can be used to obtain closed-form estimates for personalised exposure probabilities. Empirical insights from a large-scale social media platform show how our probabilistic position bias model more accurately captures empirical exposure than existing models, and paves the way for unbiased evaluation and learning-to-rank.