核心发现
方法论
LoopCTR引入了一种循环扩展范式，通过递归重用共享模型层来增加训练时计算量，从而将计算与参数增长解耦。该方法采用了增强的三明治架构，结合超连接残差和专家混合机制，并在每个循环深度进行过程监督，将多循环的好处编码到共享参数中。这使得训练多循环、推理零循环成为可能。
关键结果
- LoopCTR在三个公共基准和一个工业数据集上实现了最先进的性能。在Amazon数据集上，LoopCTR(1/3)的AUC达到0.8728，超过了OneTrans的0.8689。
- 在KuaiVideo数据集上，LoopCTR(1/3)的AUC为0.7450，比DIN高出0.0020。
- 通过Oracle分析，发现模型训练较少循环时具有更高的Oracle上限，表明在自适应推理方面有很大的潜力。
研究意义
LoopCTR在学术界和工业界具有重要意义。它通过循环扩展范式解决了传统CTR模型中参数增长带来的计算和存储开销问题。该方法不仅提高了预测精度，还显著降低了推理成本，使得在工业环境中更易于部署。其创新的架构为CTR预测开辟了新的扩展维度，具有广泛的应用前景。
技术贡献
LoopCTR的技术贡献在于其独特的循环扩展范式，区别于现有的通过增加参数来扩展模型的方法。通过递归重用共享层，LoopCTR实现了计算扩展而不增加参数量。此外，它引入了超连接残差和专家混合机制，增强了模型的表达能力，并通过过程监督在训练中内化了多循环的好处。
新颖性
LoopCTR首次在CTR预测中引入了循环扩展范式，与现有的参数堆叠方法相比，提供了一种更高效的计算扩展方式。其核心创新在于通过共享参数实现计算与参数增长的解耦，显著降低了推理成本。
局限性
- LoopCTR在某些复杂场景下可能仍然需要多循环推理来达到最佳性能，这可能增加推理时间。
- 在某些数据集上，循环扩展的收益可能不如预期显著。
- 对于极大规模的数据集，模型的训练时间可能仍然较长。
未来方向
未来的研究方向包括开发自适应推理策略，根据样本动态分配循环深度。此外，结合系统级优化如FlashAttention和混合精度训练/推理，进一步提高训练和推理效率也是一个值得探索的方向。
AI 总览摘要
在现代的推荐系统中，点击率（CTR）预测是一个关键任务。然而，随着Transformer架构在自然语言处理中的成功应用，CTR预测也开始采用这种架构。然而，传统的通过增加参数来扩展模型的方法带来了计算和存储的巨大开销，限制了其在工业环境中的部署。
为了解决这一问题，本文提出了LoopCTR，一种新的循环扩展范式。LoopCTR通过递归重用共享模型层，在不增加参数的情况下实现了计算的扩展。该方法采用了增强的三明治架构，结合超连接残差和专家混合机制，并在每个循环深度进行过程监督，将多循环的好处编码到共享参数中。
LoopCTR的核心技术原理在于其循环扩展范式。通过共享参数，LoopCTR实现了计算扩展与参数增长的解耦。这种方法不仅提高了模型的预测精度，还显著降低了推理成本，使得在工业环境中更易于部署。其创新的架构为CTR预测开辟了新的扩展维度。
实验结果显示，LoopCTR在三个公共基准和一个工业数据集上实现了最先进的性能。在Amazon数据集上，LoopCTR(1/3)的AUC达到0.8728，超过了OneTrans的0.8689。在KuaiVideo数据集上，LoopCTR(1/3)的AUC为0.7450，比DIN高出0.0020。通过Oracle分析，发现模型训练较少循环时具有更高的Oracle上限，表明在自适应推理方面有很大的潜力。
LoopCTR的广泛应用前景在于其能够在不增加参数的情况下实现计算扩展，这对于需要高效推理的工业应用尤其重要。然而，该方法在某些复杂场景下可能仍然需要多循环推理来达到最佳性能，这可能增加推理时间。未来的研究方向包括开发自适应推理策略，根据样本动态分配循环深度。此外，结合系统级优化如FlashAttention和混合精度训练/推理，进一步提高训练和推理效率也是一个值得探索的方向。
深度分析
研究背景
点击率（CTR）预测是推荐系统中的一个重要任务。随着Transformer架构在自然语言处理中的成功应用，CTR预测也开始采用这种架构。传统的CTR模型通常通过增加参数来提高性能，但这带来了计算和存储的巨大开销，限制了其在工业环境中的部署。近年来，越来越多的研究开始探索在推荐领域的扩展现象，希望复制在大型语言模型中的显著扩展规律。然而，这些方法通常伴随着参数、数据量或计算的增加。
核心问题
CTR预测的核心问题在于如何在不增加参数的情况下实现模型性能的提升。传统的通过增加参数来扩展模型的方法带来了计算和存储的巨大开销，限制了其在工业环境中的部署。此外，CTR预测模型需要在保证高精度的同时，满足工业应用中的实时性要求，这使得问题更加复杂和具有挑战性。
核心创新
LoopCTR的核心创新在于其循环扩展范式，通过递归重用共享模型层，在不增加参数的情况下实现了计算的扩展。 • 这种方法采用了增强的三明治架构，结合超连接残差和专家混合机制，增强了模型的表达能力。 • 通过在每个循环深度进行过程监督，将多循环的好处编码到共享参数中，实现了训练多循环、推理零循环的策略。 • 这种创新的架构为CTR预测开辟了新的扩展维度，显著降低了推理成本。
方法详解
LoopCTR的方法详解如下： • 三明治架构：LoopCTR采用了增强的三明治架构，结合超连接残差和专家混合机制。 • 循环扩展：通过递归重用共享模型层，实现了计算的扩展。 • 过程监督：在每个循环深度进行过程监督，将多循环的好处编码到共享参数中。 • 零循环推理：在推理时，单次前向传递即可超越所有基线模型。
实验设计
实验设计包括三个公共基准数据集和一个工业数据集，分别为Amazon、TaobaoAds、KuaiVideo和InHouse。 • 基线模型包括DLRM、DIN、DCNv2、Wukong等传统方法，以及OneTrans、HSTU、MTGR等基于Transformer的方法。 • 评价指标为AUC和NE，实验中还进行了消融研究以分析各组件的贡献。
结果分析
实验结果显示，LoopCTR在所有数据集上均实现了最先进的性能。 • 在Amazon数据集上，LoopCTR(1/3)的AUC达到0.8728，超过了OneTrans的0.8689。 • 在KuaiVideo数据集上，LoopCTR(1/3)的AUC为0.7450，比DIN高出0.0020。 • Oracle分析显示，模型训练较少循环时具有更高的Oracle上限，表明在自适应推理方面有很大的潜力。
应用场景
LoopCTR的应用场景包括： • 工业推荐系统：通过减少推理成本，提高推荐系统的实时性和精度。 • 在线广告：在不增加计算资源的情况下，提高广告点击率预测的准确性。 • 个性化推荐：在大规模数据集上实现高效的个性化推荐。
局限与展望
LoopCTR的局限性包括： • 在某些复杂场景下可能需要多循环推理来达到最佳性能，这可能增加推理时间。 • 对于极大规模的数据集，模型的训练时间可能仍然较长。 • 未来的研究方向包括开发自适应推理策略，根据样本动态分配循环深度。
通俗解读 非专业人士也能看懂
想象一下你在厨房里做饭。传统的做法是每次做一道菜都要用不同的锅具和工具，这就像传统的CTR模型，通过增加参数来提高性能。而LoopCTR就像是一个多功能锅，你可以用同一个锅来做不同的菜，只需调整锅内的设置。这种方法不仅节省了空间，还提高了效率。通过共享锅具，LoopCTR实现了计算扩展与参数增长的解耦。这种方法不仅提高了模型的预测精度，还显著降低了推理成本，使得在工业环境中更易于部署。其创新的架构为CTR预测开辟了新的扩展维度。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！你们知道吗？在网上购物时，网站会根据你的浏览记录推荐你可能喜欢的商品。这就是所谓的点击率预测！传统的方法就像是每次都要用新的工具来做不同的事情，效率不高。而LoopCTR就像是一个超级智能的工具箱，你只需要一个工具就能完成所有的工作！这不仅节省了时间，还提高了准确性。想象一下，你用一个工具就能完成所有的作业，是不是很酷？这就是LoopCTR的厉害之处！它让推荐系统变得更聪明、更高效，让我们在网上购物时能更快地找到自己喜欢的东西。
术语表
循环扩展 (Loop Scaling)
一种通过递归重用共享模型层来增加训练时计算量的方法，从而将计算与参数增长解耦。
在LoopCTR中，通过循环扩展实现了计算的扩展而不增加参数量。
三明治架构 (Sandwich Architecture)
一种增强的架构设计，结合了超连接残差和专家混合机制，以提高模型的表达能力。
LoopCTR采用了三明治架构来增强模型的性能。
超连接残差 (Hyper-Connected Residuals)
一种增强的残差连接机制，通过输入依赖的自适应融合来提高模型的计算流动性。
在LoopCTR中，超连接残差用于增强循环块的表达能力。
专家混合机制 (Mixture-of-Experts)
一种通过路由每个token到专家子集来扩展参数容量的方法。
LoopCTR使用专家混合机制来增强模型的表达能力。
过程监督 (Process Supervision)
在每个循环深度进行的监督，将多循环的好处编码到共享参数中。
LoopCTR通过过程监督实现了训练多循环、推理零循环的策略。
AUC (曲线下面积)
一种用于评估二分类模型性能的指标，表示模型在不同阈值下的表现。
在LoopCTR的实验中，AUC被用作主要的评价指标。
零循环推理 (Zero-Loop Inference)
一种在推理时单次前向传递即可超越所有基线模型的策略。
LoopCTR通过零循环推理显著降低了推理成本。
Oracle分析 (Oracle Analysis)
一种评估模型潜在性能上限的方法，通过比较最佳实现结果与Oracle结果之间的差距。
在LoopCTR的实验中，Oracle分析揭示了模型的潜在性能上限。
参数共享 (Parameter Sharing)
一种通过共享模型层来减少参数量的方法，从而实现更高效的计算。
LoopCTR通过参数共享实现了计算扩展与参数增长的解耦。
推荐系统 (Recommender System)
一种根据用户的历史行为和偏好推荐个性化内容的系统。
LoopCTR被应用于推荐系统中以提高点击率预测的准确性。
开放问题 这项研究留下的未解疑问
- 1 LoopCTR在某些复杂场景下可能仍然需要多循环推理来达到最佳性能，这可能增加推理时间。如何在不增加推理时间的情况下提高复杂场景下的性能仍然是一个开放问题。
- 2 对于极大规模的数据集，模型的训练时间可能仍然较长。如何在保证模型性能的同时缩短训练时间是一个值得探索的方向。
- 3 LoopCTR在某些数据集上，循环扩展的收益可能不如预期显著。如何在不同数据集上优化循环扩展的效果是一个需要进一步研究的问题。
- 4 自适应推理策略的发展仍然是一个开放问题。如何根据样本动态分配循环深度以实现更高效的推理是一个值得探索的方向。
- 5 虽然LoopCTR在多个数据集上表现出色，但其在其他领域的应用潜力仍需进一步验证。如何将LoopCTR应用于其他领域以验证其通用性是一个开放问题。
应用场景
近期应用
工业推荐系统
LoopCTR可以通过减少推理成本，提高推荐系统的实时性和精度，适用于电商平台和内容推荐。
在线广告
在不增加计算资源的情况下，LoopCTR可以提高广告点击率预测的准确性，从而提高广告投放的效果。
个性化推荐
LoopCTR可以在大规模数据集上实现高效的个性化推荐，适用于音乐、视频等内容平台。
远期愿景
自适应推理策略
开发自适应推理策略，根据样本动态分配循环深度，以实现更高效的推理。
系统级优化
结合系统级优化如FlashAttention和混合精度训练/推理，进一步提高训练和推理效率。
原文摘要
Scaling Transformer-based click-through rate (CTR) models by stacking more parameters brings growing computational and storage overhead, creating a widening gap between scaling ambitions and the stringent industrial deployment constraints. We propose LoopCTR, which introduces a loop scaling paradigm that increases training-time computation through recursive reuse of shared model layers, decoupling computation from parameter growth. LoopCTR adopts a sandwich architecture enhanced with Hyper-Connected Residuals and Mixture-of-Experts, and employs process supervision at every loop depth to encode multi-loop benefits into the shared parameters. This enables a train-multi-loop, infer-zero-loop strategy where a single forward pass without any loop already outperforms all baselines. Experiments on three public benchmarks and one industrial dataset demonstrate state-of-the-art performance. Oracle analysis further reveals 0.02--0.04 AUC of untapped headroom, with models trained with fewer loops exhibiting higher oracle ceilings, pointing to a promising frontier for adaptive inference.
参考文献 (20)
DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems
Ruoxi Wang, Rakesh Shivanna, D. Cheng 等
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
Weiping Song, Chence Shi, Zhiping Xiao 等
Behavior sequence transformer for e-commerce recommendation in Alibaba
Qiwei Chen, Huan Zhao, Wei Li 等
Visualizing the Loss Landscape of Neural Nets
Hao Li, Zheng Xu, Gavin Taylor 等
Generalization Matters: Loss Minima Flattening via Parameter Hybridization for Efficient Online Knowledge Distillation
Tianli Zhang, Mengqi Xue, Jiangtao Zhang 等
Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems
Huan Gui, Ruoxi Wang, Ke Yin 等
Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
Jiaqi Zhai, Lucy Liao, Xing Liu 等
Deep Interest Network for Click-Through Rate Prediction
Guorui Zhou, Cheng-Ning Song, Xiaoqiang Zhu 等
Enhancing Transformers without Self-supervised Learning: A Loss Landscape Perspective in Sequential Recommendation
V. Lai, Huiyuan Chen, Chin-Chia Michael Yeh 等
Decoupled Weight Decay Regularization
I. Loshchilov, F. Hutter
HHFT: Hierarchical Heterogeneous Feature Transformer for Recommendation Systems
Liren Yu, Wenming Zhang, Silu Zhou 等
Train Flat, Then Compress: Sharpness-Aware Minimization Learns More Compressible Models
Clara Na, Sanket Vaibhav Mehta, Emma Strubell
Visualizing the loss landscape of Self-supervised Vision Transformer
Youngwan Lee, Jeffrey Willette, Jonghee Kim 等
Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation
Jiakai Tang, Sunhao Dai, Teng Shi 等
OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
Zhaoqi Zhang, Haolei Pei, Jun Guo 等
Encode, Think, Decode: Scaling test-time reasoning with recursive latent thoughts
Yeskendir Koishekenov, Aldo Lipani, Nicola Cancedda
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
Junnan Li, Dongxu Li, S. Savarese 等
TokenMixer-Large: Scaling Up Large Ranking Models in Industrial Recommenders
Yuchen Jiang, Jie Zhu, Xintian Han 等