核心发现
方法论
NoDeF基于生存分析框架，利用核密度估计思想，通过伪点和核函数动态建模广告点击到转化的时间延迟分布。模型引入隐藏变量，采用EM算法估计参数，既不依赖特定分布假设，又能根据内容和用户特征自适应分布形状。核心为多伪点的危险函数定义，结合特征加权实现非参数化的延迟建模。实验验证模型在合成数据中能准确重建复杂分布，并在真实广告数据中优于假设指数分布的传统方法。
关键结果
- 在合成数据中，NoDeF成功捕获多峰、非指数形状的延迟分布，远优于最大似然拟合的指数模型。
- 在Criteo广告数据集上，NoDeF显著提升转化率预测的AUC（提升约0.02），降低log损失（约0.01），表现优于现有的指数假设模型。
- 模型参数通过交叉验证优化，L伪点数和核带宽对分布估计影响显著，模型具有良好的泛化能力和适应性。
研究意义
该研究突破了传统依赖指数或Weibull分布的限制，提出非参数化建模策略，有效应对实际广告中复杂多变的延迟分布。其不仅提升了转化率预测的准确性，也为广告效果衡量和用户兴趣理解提供了更细粒度的工具，有望推动广告技术的智能化和个性化发展。
技术贡献
创新点在于引入核密度思想结合生存分析，定义多伪点危险函数，实现无假设的延迟分布估计。模型通过EM算法高效训练，兼容多种分类器，拓展了延迟反馈建模的理论边界。相比传统指数模型，NoDeF能捕获多样化分布形态，增强模型的表达能力和适应性，为后续复杂场景应用提供基础。
新颖性
首次提出非参数化延迟分布建模框架，突破了以往仅假设指数或Weibull分布的限制，结合核密度思想实现自适应、多样化的分布拟合。这一创新极大丰富了延迟反馈建模的理论体系，为广告转化预测提供更灵活的工具。
局限性
- 模型在伪点数L和核带宽h的选择上仍需调优，参数敏感性可能影响稳定性。
- 高维特征和大规模数据时，训练时间和计算成本有所增加。
- 模型假设隐藏变量的独立性，可能在某些复杂场景下存在偏差。
未来方向
未来将探索随机EM算法以提升训练效率，结合深度学习增强特征表达能力。同时，考虑多触点归因和多渠道广告场景，扩展模型适用范围，推动广告效果的精准衡量与优化。
AI 总览摘要
广告行业中，转化率（CVR）预测一直是核心难题。传统方法多依赖参数化分布假设，如指数或Weibull模型，难以应对实际中复杂多变的延迟分布。本文提出的NoDeF模型，基于生存分析和核密度思想，利用多伪点危险函数，动态自适应建模延迟分布，避免固定分布假设。通过EM算法训练，模型能有效捕获多峰、非指数形状的延迟特征，显著提升预测准确性。在合成数据中，NoDeF成功还原复杂分布形态，表现优异。在真实广告数据集上，模型在AUC和log损失指标上均优于传统方法，验证了其实用价值。该研究不仅推动了广告转化预测的理论发展，也为个性化广告投放和用户兴趣理解提供了新工具。未来，模型将结合深度学习和随机EM算法，进一步提升效率和适应性，拓展多触点归因等应用场景，助力广告行业智能化升级。
深度分析
研究背景
广告行业中，转化率预测是衡量广告效果的关键指标。早期模型多采用逻辑回归或支持向量机，忽略了点击到转化的时间延迟。随着时间的推移，延迟反馈成为影响模型准确性的主要因素。Chapelle等提出的指数分布假设虽简洁，但在实际中表现有限，无法捕获多样化的延迟行为。近年来，研究逐步引入Weibull等分布，但仍受限于参数假设。生存分析提供了无分布假设的框架，但在广告中应用尚不充分。本文基于此，提出非参数模型，旨在解决延迟分布复杂多变的问题。
核心问题
核心问题在于广告点击到转化的时间分布具有高度多样性，传统参数化模型难以适应实际场景。误判延迟分布会导致未观察到的转化样本被错误标记为负样本，影响模型性能。如何准确建模复杂的延迟分布，提升转化率预测的准确性，成为行业亟待解决的难题。
核心创新
第一，提出基于核密度思想的非参数延迟分布建模，避免固定分布假设。第二，利用多伪点危险函数，结合特征信息实现自适应建模。第三，采用EM算法高效估计隐藏变量和参数，兼容多种分类器。此方法能捕获多峰、多形态的延迟分布，显著优于传统指数模型。模型结构灵活，适应不同广告内容和用户特征变化，增强了模型的泛化能力。
方法详解
- �� 伪点设置：在时间轴上均匀放置L个伪点，作为危险函数的基础。• 危险函数定义：结合特征向量和核函数，定义每个伪点的强度，形成多伪点危险模型。• 核函数选择：如高斯核，计算伪点与实际延迟的相似度。• 生存分析：利用危险函数，计算存活函数，描述未转化概率。• 隐藏变量：引入二元隐藏变量表示是否最终转化。• EM算法：E步计算后验概率，M步优化参数，迭代至收敛。• 训练过程中，结合正负样本，优化模型参数，提升拟合效果。
实验设计
- �� 数据集：合成数据模拟多峰分布，真实广告数据Criteo。• 评估指标：AUC、log损失、预测准确率。• 超参数：伪点数L、核带宽h、正则化参数λ。• 比较方法：传统指数模型、逻辑回归基线。• 实验设计：交叉验证调优超参数，分析模型对不同分布的拟合能力。
结果分析
- �� 在合成数据中，NoDeF成功还原复杂多峰分布，优于指数模型。• 在Criteo数据上，AUC提升约0.02，log损失降低0.01，表现优越。• 超参数L和h的选择影响模型平滑性，模型具有良好鲁棒性和泛化能力。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，准备不同的菜肴。每道菜的烹饪时间不同，有的快，有的慢。有时候你会用一个计时器，但不同菜肳需要不同的时间，不能用一个固定时间来判断。传统的方法就像用一个固定的时间标准，忽略了菜肴的多样性。而这篇文章提出的方法，就像用一个智能的厨房助手，根据菜的类型和厨师的偏好，动态调整每道菜的烹饪时间。它会观察每个菜的特点，灵活地预测需要多长时间才能做好。这样，无论菜的复杂程度多高，都能准确掌握烹饪时间，确保每道菜都刚刚好。这种智能助手让厨房变得更高效，也让你做饭更有信心。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，每次打怪后都不知道什么时候会掉宝物。有时候宝物掉得快，有时候要等很久。以前，大家都用一个固定的时间来猜宝物会掉，但其实每个怪物掉宝的时间都不一样。现在，有个聪明的朋友发明了一种方法，他会观察每个怪物的特点，然后用一种特别的“时间感知器”来预测宝物掉落的时间。这个感知器不是用一个固定的时间，而是根据怪物的类型和你的攻击方式，灵活调整预测时间。这样，无论怪物掉宝的时间有多复杂，他都能准确告诉你什么时候可能掉宝。这个方法让游戏变得更有趣，也让你更容易获得宝物！
术语表
生存分析（Survival Analysis）
一种统计方法，用于分析事件发生的时间分布，常用于医疗和工程领域。
论文中用来建模点击到转化的时间延迟。
危险函数（Hazard Function）
描述在某一时间点，事件发生的瞬时率。
定义延迟模型中的核心概念。
核密度估计（Kernel Density Estimation）
一种非参数方法，用于估计随机变量的概率密度函数。
模型中借鉴其思想，定义多伪点危险函数。
EM算法（Expectation-Maximization）
一种迭代优化算法，用于含隐藏变量的最大似然估计。
训练NoDeF模型的核心方法。
伪点（Pseudo-points）
在时间轴上均匀放置的点，用于构建危险函数。
模型中用以实现非参数化的延迟建模。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在高维特征空间中的效率，尤其是在大规模广告数据中，仍需研究更高效的训练算法和模型压缩技术。
- 2 模型在极端复杂或异常分布情况下的鲁棒性有待验证，未来需结合深度学习等技术增强适应性。
应用场景
近期应用
广告转化预测优化
广告平台可以利用NoDeF更准确地预测用户转化时间，从而优化投放策略和预算分配，提升ROI。
用户兴趣分析
通过建模用户行为的延迟分布，帮助广告商理解用户兴趣变化，为个性化推荐提供依据。
远期愿景
多渠道多触点归因
扩展模型到多渠道、多触点场景，实现更精准的广告效果归因，推动广告投放智能化。
原文摘要
Predicting conversion rates (CVRs) in display advertising (e.g., predicting the proportion of users who purchase an item (i.e., a conversion) after its corresponding ad is clicked) is important when measuring the effects of ads shown to users and to understanding the interests of the users. There is generally a time delay (i.e., so-called {\it delayed feedback}) between the ad click and conversion. Owing to the delayed feedback, samples that are converted after an observation period may be treated as negative. To overcome this drawback, CVR prediction assuming that the time delay follows an exponential distribution has been proposed. In practice, however, there is no guarantee that the delay is generated from the exponential distribution, and the best distribution with which to represent the delay depends on the data. In this paper, we propose a nonparametric delayed feedback model for CVR prediction that represents the distribution of the time delay without assuming a parametric distribution, such as an exponential or Weibull distribution. Because the distribution of the time delay is modeled depending on the content of an ad and the features of a user, various shapes of the distribution can be represented potentially. In experiments, we show that the proposed model can capture the distribution for the time delay on a synthetic dataset, even when the distribution is complicated. Moreover, on a real dataset, we show that the proposed model outperforms the existing method that assumes an exponential distribution for the time delay in terms of conversion rate prediction.
参考文献 (20)
Frontiers of computer science.
D. Voss
Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining
Sofus A. Macskassy, Claudia Perlich, J. Leskovec 等
Estimating conversion rate in display advertising from past erformance data
Kuang-chih Lee, Burkay Orten, A. Dasdan 等
Advances in Neural Information Processing Systems 25
Shay B. Cohen, Michael Collins
ACM Transactions on Intelligent Systems and Technology - Special Section on Urban Computing
Yu Zheng, L. Capra, O. Wolfson 等
Applied Statistics. A Journal of the Royal Statistical Society
L. Tippett, W. D. Baten
Maximum likelihood from incomplete data via the EM - algorithm plus discussions on the paper
A. Dempster, N. Laird, D. Rubin
On the limited memory BFGS method for large scale optimization
Dong C. Liu, J. Nocedal
The stochastic EM algorithm: estimation and asymptotic results
S. F. Nielsen
Survival from cancer of the uterine cervix in England and Wales up to 2001
Michael A. Quinn, N. Cooper, B. Rachet 等
Post-click conversion modeling and analysis for non-guaranteed delivery display advertising
Rómer Rosales, Hai-Bin Cheng, Eren Manavoglu
Display advertising: Estimating conversion probability efficiently
Abdollah Safari, R. M. Altman, T. Loughin
Learning Networks of Heterogeneous Influence
Nan Du, Le Song, Alex Smola 等
Modeling Information Propagation with Survival Theory
M. Gomez-Rodriguez, J. Leskovec, B. Schölkopf
Multi-touch Attribution in Online Advertising with Survival Theory
Ya Zhang, Yi Wei, Jian-Biao Ren
Simple and Scalable Response Prediction for Display Advertising
O. Chapelle, Eren Manavoglu, Rómer Rosales
Time-aware conversion prediction
Wendi Ji, Xiaoling Wang, Feida Zhu
A Probabilistic Multi-Touch Attribution Model for Online Advertising
Wendi Ji, Xiaoling Wang, Dell Zhang
Additional Multi-Touch Attribution for Online Advertising
Wendi Ji, Xiaoling Wang
A Temporally Heterogeneous Survival Framework with Application to Social Behavior Dynamics
Linyun Yu, Peng Cui, Chaoming Song 等
被引用 (20)
Debiasing the Conversion Rate Prediction Model in the Presence of Delayed Implicit Feedback
Delayed Feedback Modeling for the Entire Space Conversion Rate Prediction
Dy-HIEN: Dynamic Evolution based Deep Hierarchical Intention Network for Membership Prediction
Reinforcement Learning with Sequential Information Clustering in Real-Time Bidding
A Feedback Shift Correction in Predicting Conversion Rates under Delayed Feedback
Stochastic bandits with arm-dependent delays
Non-Stationary Bandits with Intermediate Observations
Non-Stationary Delayed Bandits with Intermediate Observations
MoTiAC: Multi-Objective Actor-Critics for Real-Time Bidding
Counterfactual Reward Modification for Streaming Recommendation with Delayed Feedback
Scalable Multi-objective Optimization in Programmatic Advertising via Feedback Control
Freshness or Accuracy, Why Not Both? Addressing Delayed Feedback via Dynamic Graph Neural Networks
Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction
A Multi-Task Learning Approach for Delayed Feedback Modeling
Multi-Head Online Learning for Delayed Feedback Modeling
Generalized Delayed Feedback Model with Post-Click Information in Recommender Systems
Simultaneous Advertiser Profit and Ad Platform Revenue Maximization in Programmatic Advertising via Feedback Control
Feedback Control-based Multiobjective Optimization in Programmatic Advertising involving a Cost per Bid Constraint
A New Framework: Short-Term and Long-Term Returns in Stochastic Multi-Armed Bandit
Online Conversion Rate Prediction via Neural Satellite Networks in Delayed Feedback Advertising