核心发现
方法论
本文提出一种基于离线指标R/R*的轻量化范式，通过引入新颖的离线指标和离线仿真算法，建立模型规模与在线收益的缩放关系。在理论上证明R/R*与在线收益的相关性在渐近意义下趋于1，实证验证其在Transformer、MLP、DSSM等模型架构中的适用性。利用该方法实现无需大量在线实验即可识别模型的缩放规律，为广告系统中的ROI优化提供理论基础和实践工具。
关键结果
- 在真实广告系统中验证了R/R*与在线收益的高相关性（R^2=0.902），显著优于传统离线指标。通过离线实验发现Transformer、MLP、DSSM模型在不同场景中均表现出Broken Neural Scaling Law（BNSL），FLOPs与R/R*呈幂律关系，拟合优度R^2达0.996。基于缩放定律，模型在不同计算预算下的性能预估误差小于0.5%，验证了方法的实用性。
- 利用离线仿真算法估算机器成本，结合模型参数与R/R*指标，实现端到端的离线预测。通过在多场景、多模型架构中的应用，成功优化广告检索模型的资源配置，提升整体ROI达5.10%，验证了缩放规律在实际系统中的有效性。
- 提出的框架支持快速模型迭代，能在数天内完成数百模型配置的离线ROI估算，大幅降低系统调优成本，为工业界提供了可行的模型设计与资源调度方案。
研究意义
本研究首次系统性提出了在线广告检索模型的缩放定律，突破了传统仅关注离线指标的局限，为广告系统的性能优化、成本控制和多场景资源调度提供了理论依据和实践工具。通过离线指标与在线收益的高相关性，极大降低了模型优化的成本，推动了推荐系统和广告系统的智能化发展。该方法的推广应用，有望引领行业实现更高的ROI和更优的用户体验，具有深远的行业影响和学术价值。
技术贡献
技术上，本文创新性引入R/R*离线指标，结合理论证明其与在线收益的渐近相关性，提出基于Broken Neural Scaling Law的模型性能预测框架。通过离线仿真算法实现模型规模与机器成本的映射，支持端到端的离线性能与成本预测。该方法兼容多种模型架构（Transformer、MLP、DSSM），实现跨模型、跨场景的缩放规律识别，为工业界提供了高效、低成本的模型优化工具。
新颖性
这是首个系统性研究在线广告检索模型的缩放定律，并提出了离线指标R/R*作为在线收益的高效代理。相较于以往仅关注离线指标的研究，本文实现了无需大量在线实验的缩放规律识别，突破了系统异质性带来的应用障碍，具有明显的创新性和实用性。
局限性
- 假设模型性能与R/R*之间的线性关系在极端模型规模或特殊场景下可能失效，存在一定的偏差。
- 机器成本估算依赖模型参数的静态映射，未考虑硬件环境变化和系统优化带来的非线性影响。
- 当前方法主要验证于广告检索子系统，尚未扩展到完整推荐或排序流程，未来需考虑系统整体的复杂性。
未来方向
未来将探索更复杂的系统环境下的成本与收益关系，结合动态硬件信息优化模型规模预测。同时，计划引入强化学习等技术，动态调整模型配置以实现最优ROI，推动缩放定律在更广泛推荐场景中的应用。
AI 总览摘要
随着深度学习模型规模的不断扩大，理解模型性能与资源消耗之间的关系成为系统优化的关键。传统方法依赖大量在线A/B测试，成本高昂且难以普适。本文提出一种基于离线指标R/R*的轻量化范式，成功建立了广告检索模型的缩放定律。通过理论分析证明R/R*与在线收益的渐近相关性，并在真实广告系统中验证了Transformer、MLP、DSSM模型的Broken Neural Scaling Law（BNSL）。实验显示，FLOPs与R/R*呈幂律关系，拟合优度高达0.996，为模型性能预估提供了可靠依据。利用离线仿真算法，本文实现了模型规模与机器成本的端到端映射，支持在无需在线实验的情况下进行模型优化。应用于多场景、多模型架构的调优，提升广告系统ROI达5.10%，验证了缩放定律的实用价值。这一方法极大降低了工业界模型调优的成本，加快了模型迭代速度，为广告系统的智能化发展提供了新思路。未来，作者计划结合硬件环境变化和动态系统信息，进一步完善模型性能与成本的预测模型，推动缩放规律在更广泛推荐场景中的应用。整体而言，该研究为推荐系统的规模化优化提供了理论基础和实践工具，具有重要的学术价值和行业意义。
深度分析
研究背景
近年来，深度学习模型规模不断扩大，推动了自然语言处理、推荐系统等领域的飞跃发展。Kaplan等（2020）在Transformer架构中提出了缩放定律，揭示模型性能与参数规模、数据规模、计算成本的关系。GPT-3的成功验证了预训练模型的规模效应，带动了大模型的快速发展。然而，推荐系统和广告检索模型的缩放规律研究相对滞后，主要受限于缺乏公开数据和系统异质性。早期研究多关注离线指标与模型性能的关系，缺乏对在线收益的系统分析。近年来，部分学者尝试结合离线指标和有限在线实验探索模型规模对收益的影响，但仍未建立完整的理论框架。本文在此基础上，提出了基于离线指标R/R*的轻量化范式，旨在弥补实际工业场景中缺乏高效、低成本识别缩放规律的空白。
核心问题
当前广告检索系统中，模型规模与在线收益的关系难以量化，主要原因在于在线实验成本高昂且系统复杂。传统方法依赖大量A/B测试，既耗时又不具普适性。此外，不同系统架构和参数配置的异质性，限制了缩放规律的跨场景应用。如何在保证低成本的前提下，准确识别模型规模与收益的关系，成为行业亟需解决的问题。缺乏有效的离线指标作为代理，导致模型优化难以快速迭代，影响整体广告投放效果和ROI。
核心创新
本文的核心创新包括：1）提出离线指标R/R*，结合模型预测的广告收益，理论上证明其与真实在线收益的渐近相关性，显著优于传统离线指标；2）建立基于Broken Neural Scaling Law的模型性能预测框架，揭示FLOPs与R/R*之间的幂律关系；3）设计离线仿真算法，端到端映射模型参数到机器成本，实现低成本的系统资源调度。这些创新突破了以往仅关注离线指标或在线实验的局限，为模型规模优化提供了理论支撑和实践工具。
方法详解
- �� 设计离线指标R/R*，通过排序矩阵和广告收益预测值计算，反映模型对收益的贡献。• 理论分析证明在一定假设下，R/R*与在线收益呈线性关系。• 利用多模型架构（Transformer、MLP、DSSM）在离线数据上训练，收集FLOPs和R/R*指标，拟合Broken Neural Scaling Law。• 采用贝叶斯优化等方法，拟合幂律关系参数，实现模型性能预测。• 开发离线仿真工具，基于模型参数和系统环境，估算机器成本。• 将缩放定律应用于模型设计和资源调度，优化广告投放ROI。
实验设计
- �� 使用真实广告系统数据，采集不同模型配置（Transformer、MLP、DSSM）在多场景下的FLOPs、R/R*值和在线收益。• 通过A/B测试验证R/R*与在线收益的相关性，R^2达0.902。• 拟合Broken Neural Scaling Law，模型拟合优度高达0.996。• 利用仿真算法估算机器成本，验证模型规模与成本的关系。• 在多场景、多模型架构中应用缩放定律，提升广告ROI，平均提升达5.10%。
结果分析
- �� 发现FLOPs与R/R*满足幂律关系，模型性能可通过离线指标准确预测。• 通过离线仿真实现模型规模与机器成本的端到端映射，支持快速调优。• 实验验证缩放规律在不同模型和场景中的普适性，显著降低调优成本。• 采用该方法实现的模型优化，ROI提升超过5%，验证了实际应用价值。
应用场景
- �� 立即应用：模型设计中，依据缩放定律调整模型规模，优化ROI，无需大量在线试验。• 长期展望：结合硬件环境变化，动态调整模型配置，实现持续优化和自动调度，推动广告系统智能化升级。
局限与展望
- �� 假设模型性能与R/R*线性关系在极端规模或特殊场景下可能偏离。• 机器成本估算依赖静态模型参数，未充分考虑硬件环境变化。• 当前方法主要验证于广告检索子系统，尚未扩展到完整推荐流程，未来需考虑系统整体复杂性。
通俗解读 非专业人士也能看懂
想象你在经营一家大型厨房，准备各种菜肴。每道菜的成本和用料不同，做得越多，成本越高，但也能卖出更多。为了让厨房既能做出美味菜肴，又不亏钱，你需要知道每个菜的成本和卖价之间的关系。传统方法是试吃多次，观察卖出去的菜数和利润，但这样耗时又浪费。本文的方法就像用一个智能的菜单预测器，根据之前的销售数据，提前估算出不同菜品的利润和成本关系。这样，你就可以在不实际做菜的情况下，预测出哪种菜最划算，提前调整菜单，既节省时间，又能最大化利润。这就像用数学模型帮你做出明智的经营决策，避免盲目试错。
简单解释 像给14岁少年讲一样
想象你在学校的食堂工作，要准备很多不同的菜，每个菜的材料和价格都不一样。你想知道做哪种菜最赚钱，但每次试做都很麻烦，也很花时间。于是，你发明了一个聪明的计算器，可以根据以前的销售情况，预测每道菜的利润。只要输入菜的材料和份量，这个计算器就能告诉你，哪种菜能赚最多钱，而且不用实际做出来就知道效果。这样，你就可以提前安排材料和做菜的数量，省时又省钱，还能让更多同学吃到喜欢的菜。这就像用数学和数据帮你做决定，让厨房变得更聪明、更高效。
原文摘要
The scaling law is a notable property of neural network models and has significantly propelled the development of large language models. Scaling laws hold great promise in guiding model design and resource allocation. Recent research increasingly shows that scaling laws are not limited to NLP tasks or Transformer architectures; they also apply to domains such as recommendation. However, there is still a lack of literature on scaling law research in online advertisement retrieval systems. This may be because 1) identifying the scaling law for resource cost and online revenue is often expensive in both time and training resources for industrial applications, and 2) varying settings for different systems prevent the scaling law from being applied across various scenarios. To address these issues, we propose a lightweight paradigm to identify online scaling laws of retrieval models, incorporating a novel offline metric and an offline simulation algorithm. We prove that under mild assumptions, the correlation between the novel metric and online revenue asymptotically approaches 1 and empirically validates its effectiveness. The simulation algorithm can estimate the machine cost offline. Based on the lightweight paradigm, we can identify online scaling laws for retrieval models almost exclusively through offline experiments, and quickly estimate machine costs and revenues for given model configurations. We further validate the existence of scaling laws across mainstream model architectures (e.g., Transformer, MLP, and DSSM) in our real-world advertising system. With the identified scaling laws, we demonstrate practical applications for ROI-constrained model designing and multi-scenario resource allocation in the online advertising system. To the best of our knowledge, this is the first work to study identification and application of online scaling laws for online advertisement retrieval.