核心发现
方法论
DADF是一种分布感知的去偏框架,应用于冻结的观看时长预测器。通过乘法校正和组特定的分布变换,DADF利用视频时长引导校正专家,并整合辅助参与表示。其目标是修正推理时可预测的条件残差,而非全局重新校准。
关键结果
- 在KuaiRec和WeChat21数据集上,DADF平均降低MAE 4.33%,提高XAUC 4.01%。在生产环境中,MAE降低12.57%。
- 线上A/B测试显示,平均设备使用时长分别提升0.649%、0.235%和0.199%。
- DADF在不改变成熟模型接口的情况下,成功部署到100%的流量。
研究意义
DADF框架通过校正推理时可预测的条件残差,提高了推荐系统的观看时长预测精度。该方法无需替换成熟的一阶段模型,降低了实施风险和成本。其在多个数据集和工业应用中的成功验证了其作为模型无关插件的实用性。
技术贡献
DADF通过引入分布感知的二阶段校正,解决了长尾分布和异质性残差问题。其独特的时长索引专家路由和多标签辅助表示学习,提供了新的工程可能性,并在不改变现有模型接口的情况下实现了精度提升。
新颖性
DADF首次提出了分布感知的二阶段校正框架,区别于传统方法,其不依赖于全局重新校准,而是专注于推理时可预测的条件残差修正。
局限性
- DADF依赖于现有模型的预测输出,无法完全消除所有残差。
- 在极端长尾分布情况下,校正效果可能受限。
未来方向
未来研究可探索DADF在其他类型推荐系统中的应用,或结合更多的辅助信号以提高校正精度。
AI 总览摘要
短视频推荐系统中的观看时长预测往往存在偏差,短时观看被高估,而长时观看被低估。现有的成熟模型替换成本高,因此需要一种低风险的改进方法。
DADF框架通过分布感知的二阶段校正,利用视频时长引导校正专家,并整合辅助参与表示,成功修正了推理时可预测的条件残差。在KuaiRec和WeChat21数据集上的实验表明,DADF平均降低了MAE 4.33%,提高了XAUC 4.01%。
DADF的成功应用展示了其作为模型无关插件的实用性,能够在不改变现有模型接口的情况下实现精度提升。未来的研究方向包括在其他推荐系统中的应用和结合更多辅助信号。
深度分析
研究背景
短视频推荐系统中,观看时长是衡量用户参与度的重要指标。传统的预测方法往往存在偏差,导致短时观看被高估,长时观看被低估。替换成熟的预测模型成本高,因此需要一种低风险的改进方法。
核心问题
现有的观看时长预测模型在短时和长时观看的预测上存在偏差,影响了推荐系统的准确性和用户体验。如何在不替换现有模型的情况下提高预测精度是一个重要挑战。
核心创新
DADF框架通过分布感知的二阶段校正,利用视频时长引导校正专家,并整合辅助参与表示,成功修正了推理时可预测的条件残差。其创新之处在于无需全局重新校准,降低了实施风险。
方法详解
- �� DADF冻结现有预测器,应用乘法校正。
- �� 利用视频时长引导校正专家。
- �� 整合辅助参与表示以提高校正精度。
- �� 通过组特定的分布变换稳定长尾校正目标。
实验设计
实验在KuaiRec和WeChat21数据集上进行,使用七种一阶段模型作为基线。评估指标包括MAE和XAUC,并进行了多种对比实验以验证DADF的有效性。
结果分析
实验结果显示,DADF在多个数据集上平均降低了MAE 4.33%,提高了XAUC 4.01%。在生产环境中,MAE降低12.57%,显示了其在实际应用中的有效性。
应用场景
DADF可直接应用于短视频推荐系统,帮助提高观看时长预测的准确性。其作为模型无关插件,适用于多种推荐系统架构。
局限与展望
DADF依赖于现有模型的预测输出,无法完全消除所有残差。在极端长尾分布情况下,校正效果可能受限。未来研究可探索结合更多辅助信号以提高校正精度。
通俗解读 非专业人士也能看懂
想象你在一个图书馆里,图书管理员根据每本书的借阅时长来决定它们的展示位置。现有的系统有时会高估短时间借阅的书籍,而低估长时间借阅的书籍。DADF就像一个聪明的助手,它能根据书籍的借阅时长和其他信息,调整每本书的展示位置,使得每本书都能被正确地展示出来。这个助手不需要改变图书馆的现有系统,只需在现有系统的基础上进行调整。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏,游戏中有一个排行榜,显示了每个玩家的游戏时间。现有的系统有时会高估那些玩得时间短的玩家,而低估那些玩得时间长的玩家。DADF就像一个聪明的助手,它能根据每个玩家的游戏时间和其他信息,调整排行榜,使得每个玩家都能被正确地展示出来。这个助手不需要改变游戏的现有系统,只需在现有系统的基础上进行调整。
术语表
DADF (分布感知去偏框架)
一种用于修正观看时长预测偏差的框架,通过乘法校正和组特定的分布变换实现。
用于提高短视频推荐系统的预测精度。
MAE (平均绝对误差)
一种评估预测模型精度的指标,表示预测值与真实值之间的平均绝对差异。
用于评估DADF在不同数据集上的表现。
XAUC (扩展AUC)
一种用于评估排序模型性能的指标,考虑了不同类别样本的分布。
用于评估DADF在排序任务中的表现。
乘法校正
一种通过乘以校正因子来调整预测值的方法。
DADF框架中用于修正观看时长预测偏差。
辅助参与表示
通过整合其他相关任务的表示来提高模型预测精度的方法。
DADF框架中用于提高校正精度的关键组件。
开放问题 这项研究留下的未解疑问
- 1 如何在其他类型的推荐系统中有效应用DADF框架?
- 2 在极端长尾分布情况下,DADF的校正效果如何优化?
应用场景
近期应用
短视频推荐
DADF可用于提高短视频推荐系统的观看时长预测精度,帮助平台优化内容推荐策略。
远期愿景
跨领域应用
DADF框架可扩展至其他推荐系统,如电商、音乐推荐,提升预测精度和用户体验。
原文摘要
Watch-time predictors in short-video recommender systems can be approximately calibrated by their own scores while still overestimating short observations and underestimating long ones. We study whether this label-space mean shrinkage contains inference-time-predictable residual structure that can be corrected without replacing a mature first-stage model. We propose DADF, a distribution-aware second-stage framework that applies multiplicative correction to a frozen watch-time predictor. DADF stabilizes long-tailed correction targets with group-specific transformations, uses video duration to route specialized correction experts, and incorporates auxiliary engagement representations. Duration is used only to index heterogeneous residual distributions, not treated as the cause of the observed pattern. Experiments on KuaiRec and WeChat21 with seven first-stage backbones, together with a large-scale industrial ranking system, show that DADF reduces offline MAE by 4.33% and improves XAUC by 4.01% on average. In production, it reduces MAE by 12.57%. Three online A/B tests across full ranking, rough ranking, and degraded serving improve average time spent per device by 0.649%, 0.235%, and 0.199%, respectively, and all three integrations were subsequently deployed to 100% of traffic. These results show that DADF is a practical, model-agnostic plug-in for correcting predictable conditional residuals while preserving the serving interface of mature first-stage models. Code is available at https://github.com/liuzhao09/DADF.