核心发现
方法论
采用大规模实验分析，研究不同资源维度（模型参数、数据量、计算量）对推荐模型性能的影响。通过调整Embedding表和MLP层的规模，测量归一化交叉熵损失，拟合幂律+常数模型，验证缩放规律的普适性。比较不同缩放方案的效率，分析其在饱和与高收益阶段的表现。引入具体算法如Deep Learning Recommendation Model（DLRM），利用大规模真实数据集（如Criteo、Avito）进行系统性评估。
关键结果
- 模型性能（测试损失）与资源投入（模型参数、数据量、计算量）呈幂律+常数关系，幂指数β在0.09-0.15间，常数γ代表极限性能。数据规模对性能影响最大，参数规模影响有限，计算效率居中。
- 不同缩放方案中，垂直Embedding扩展优于水平扩展，MLP扩展在计算效率上优于Embedding扩展。资源效率分析显示，当前行业模型已进入饱和阶段，参数增长收益递减，数据和计算成为主要增长路径。
- 在训练与测试损失的对比中，训练损失的幂指数较大（-0.20），测试损失较小（-0.12），表明模型在训练数据上过拟合，泛化能力受限。
研究意义
本研究揭示推荐模型的缩放规律，为大规模推荐系统的设计提供理论基础。理解模型性能与资源投入的关系，有助于优化硬件配置、系统架构和资源分配，推动推荐系统的可持续发展。特别是在数据驱动的产业中，明确数据规模的重要性，为未来模型架构创新提供指导。该规律还对AI基础设施的长期规划具有重要意义，帮助行业合理预估资源需求，避免盲目扩展带来的成本浪费。
技术贡献
提出基于幂律+常数的推荐模型性能缩放模型，首次系统验证Embedding参数在推荐模型中的关键作用。通过多维度资源分析，揭示参数、数据、计算的相对效率，明确行业模型已进入饱和阶段，参数扩展收益递减。引入多种缩放方案的效率比较，为模型架构优化提供定量依据，推动推荐系统的高效扩展策略。
新颖性
首次系统性地将幂律+常数模型应用于推荐系统的性能缩放分析，涵盖Embedding表和MLP层的多种扩展方案。区别于语言模型等领域的研究，特别强调Embedding参数在推荐模型中的主导地位。提出行业规模模型已达饱和的观点，为未来模型设计指明了数据和计算的优先路径。
局限性
- 研究主要基于CTR预测任务，可能不完全适用于其他推荐场景或不同模型架构。模型架构的变化可能影响缩放规律的适用性。
- 实验数据来源于特定行业（如Facebook推荐系统），实际应用中存在数据偏差和系统差异，影响普适性。
- 未考虑多任务、多模态等复杂场景下的缩放规律，未来需扩展分析范围。
未来方向
未来将探索更高效的模型架构，突破参数饱和限制，结合强化学习等技术优化缩放策略。同时，考虑多任务、多模态推荐场景，验证缩放规律的普适性。还将结合硬件发展趋势，提出面向未来的系统设计原则，推动大规模推荐系统的可持续发展。
AI 总览摘要
近年来，深度学习在推荐系统中的应用不断扩展，模型规模从亿级到万亿级参数，带来了性能的飞跃。然而，伴随模型规模的增长，系统资源的消耗也急剧增加，如何科学规划资源成为行业难题。
本研究系统分析了推荐模型的缩放规律，提出模型性能遵循幂律+常数的关系，数据规模是性能提升的主要驱动力。通过在不同资源维度（模型参数、数据、计算）上进行大规模实验，验证了这一规律的普适性。结果显示，Embedding参数的扩展已进入饱和阶段，参数增长的边际收益逐渐递减，而数据和计算的扩展仍能带来显著提升。
具体而言，模型性能（测试损失）与资源投入之间的幂指数β在0.09-0.15之间，常数γ代表极限性能。不同缩放方案中，垂直Embedding扩展优于水平扩展，MLP扩展在计算效率上表现更佳。实验还发现，模型在训练集上的拟合能力远强于测试集，表明过拟合问题严重，泛化能力受限。
这些发现对行业具有重要指导意义。随着模型规模的不断扩大，参数增长的收益逐渐递减，数据和计算成为未来发展的关键路径。理解这些规律，有助于系统设计者合理配置硬件资源，优化模型架构，推动推荐系统的可持续发展。未来，将结合新兴硬件技术和多任务学习，探索更高效的模型缩放策略，确保行业在大规模AI时代的竞争力。
深度分析
研究背景
推荐系统作为互联网行业的核心技术，经历了从传统协同过滤到深度学习的演变。早期模型如矩阵分解（Matrix Factorization）逐步被深度神经网络（如Deep Neural Networks）取代。近年来，深度学习推荐模型（DLRM）如Facebook的DSSM、DeepFM、以及Transformer变体在提升个性化效果方面表现突出。随着模型参数和数据规模的不断扩大，行业面临硬件成本激增、系统复杂度提升等挑战。此前研究多关注模型性能优化，缺乏对模型规模扩展规律的系统分析。本研究填补了这一空白，首次提出推荐模型的缩放规律，为大规模推荐系统的设计提供理论依据。
核心问题
当前，推荐模型的性能提升依赖于不断扩大模型参数和训练数据，但缺乏对其增长边界和效率的系统理解。行业中模型参数已达数百亿甚至万亿级，参数扩展的边际收益逐渐递减，导致资源浪费和成本上升。核心问题在于：模型性能是否能持续按预期规律增长？不同资源（数据、参数、计算）对性能的贡献比例如何？这些问题关系到硬件投资、系统架构优化和未来模型设计的可行性。
核心创新
本研究创新在于：1）首次提出推荐模型性能的幂律+常数缩放规律，明确了资源投入与模型性能的关系；2）系统比较多种缩放方案（Embedding垂直/水平扩展、MLP层扩展、Over-arch层扩展），分析其效率差异；3）揭示行业模型已进入参数饱和阶段，强调数据和计算的重要性；4）提供定量指标（幂指数β、极限性能γ）指导实际资源配置。这些创新为推荐系统的规模扩展提供了科学依据。
方法详解
- �� 设计大规模实验，调整Embedding表和MLP层的规模，测量归一化交叉熵损失；
- �� 采用幂律+常数模型拟合性能与资源关系，计算幂指数β和极限γ；
- �� 比较不同缩放方案的效率，包括垂直/水平Embedding、Over-arch和MLP扩展；
- �� 通过真实数据（如Criteo、Avito）验证模型的普适性和稳定性；
- �� 分析训练与测试损失的差异，评估泛化能力；
- �� 结合硬件资源变化，模拟未来扩展路径。
实验设计
采用大规模推荐数据集（Criteo、Avito）进行训练，比较不同模型规模（从百万到十亿参数），测量训练和测试损失。调整Embedding表的行数和宽度，MLP层的深度和宽度，评估不同方案的性能表现。通过不同计算预算（从TFlops到PetaFLOPS）验证缩放规律的适用性。实验还包括不同数据规模（百万到千万级样本）下的性能变化，确保结论的鲁棒性。
结果分析
模型性能与资源投入呈幂律+常数关系，幂指数β在0.09-0.15，极限性能γ约为0.98。数据规模对性能影响最大，参数规模影响有限。垂直Embedding扩展优于水平，MLP扩展在计算效率上优于Embedding扩展。训练损失的幂指数高于测试损失，表明过拟合严重。行业模型已进入参数饱和阶段，未来应侧重数据和计算资源的扩展。
应用场景
该规律指导推荐系统的硬件配置和模型架构优化，帮助企业合理分配资源，提升模型效率。适用于大规模广告推荐、内容个性化等场景，支持多任务、多模态推荐模型的设计。未来还可结合硬件发展，优化模型部署策略，实现低成本高性能的推荐系统。
局限与展望
研究主要基于CTR预测任务，可能不适用于其他推荐场景。模型架构变化可能影响缩放规律的适用性。未考虑多任务、多模态等复杂场景，未来需验证其普适性。实验数据来源有限，实际应用中存在数据偏差和系统差异。模型训练成本高，未来需探索更高效的训练策略。
通俗解读 非专业人士也能看懂
想象你在经营一家大型工厂，生产各种商品。工厂的规模越大，生产效率越高，但也会遇到瓶颈，比如原料供应和机器维护。这个研究就像在分析：当你投入更多原料（数据）或增加机器（模型参数、计算能力）时，工厂的产量（模型性能）会如何变化。发现，投入的资源越多，产量提升越快，但到一定程度后，效果会逐渐变得不明显，甚至停滞。特别是，增加机器（参数）到一定规模后，效果几乎没有提升，反而更依赖于原料（数据）和能源（计算）。这就像你在工厂里发现，买更多机器不一定能让生产快起来，但买更多原料和用更好的能源，能带来更大收益。这个规律帮助我们知道，未来投资应该更偏向于数据和计算，而不是盲目扩展硬件。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，拼图块越多，拼出完整画面的难度越大，但也能让画面变得更清晰。可是，当你拥有太多拼图块时，拼图的难度反而变得不值得，因为你花费的时间和精力太多，效果也没有明显提升。这就像在训练推荐模型一样，增加模型的参数（拼图块）可以让模型变得更聪明，但到一定程度后，增加参数的效果变得越来越差。相反，增加更多的训练数据（原材料）或用更强的计算能力（能源）可以让模型变得更好。研究发现，数据和计算的投入比参数的增长更能带来提升，参数的边际收益逐渐变得有限。这就告诉我们，未来做推荐系统，应该更聪明地利用数据和计算，而不是盲目堆砌参数。
原文摘要
Scale has been a major driving force in improving machine learning performance, and understanding scaling laws is essential for strategic planning for a sustainable model quality performance growth, long-term resource planning and developing efficient system infrastructures to support large-scale models. In this paper, we study empirical scaling laws for DLRM style recommendation models, in particular Click-Through Rate (CTR). We observe that model quality scales with power law plus constant in model size, data size and amount of compute used for training. We characterize scaling efficiency along three different resource dimensions, namely data, parameters and compute by comparing the different scaling schemes along these axes. We show that parameter scaling is out of steam for the model architecture under study, and until a higher-performing model architecture emerges, data scaling is the path forward. The key research questions addressed by this study include: Does a recommendation model scale sustainably as predicted by the scaling laws? Or are we far off from the scaling law predictions? What are the limits of scaling? What are the implications of the scaling laws on long-term hardware/system development?