UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems
UniMixer提出统一推荐模型缩放架构，通过参数化TokenMixer提升效率，结合注意力、TokenMixer和FM优势。
核心发现
方法论
该研究提出将基于规则的TokenMixer转化为参数化结构，构建统一的特征混合模块，允许在训练中优化混合模式。通过引入参数化的全局和局部特征交互机制，统一了注意力机制、TokenMixer和因子分解机的架构。设计了轻量级的UniMixing-Lite模块，进一步压缩参数和计算成本。实验采用Kuaishou推荐数据集，评估AUC、参数量和FLOPs，验证模型在不同规模下的优越缩放能力。
关键结果
- 在Kuaishou公开数据集上，UniMixer在参数为1亿时，AUC达到0.753，比传统RankMixer提升0.012，且FLOPs降低15%。在不同模型规模下，UniMixer展现出稳定的性能增长曲线，验证了其良好的缩放规律。
- UniMixer-Lite在参数减半的情况下，仍保持0.750的AUC，显示出极高的参数效率。多轮离线和线上AB测试表明，UniMixer在CTR预测任务中优于现有主流架构，提升转化率约3%。
- 消融实验显示，参数化TokenMixer比规则版性能提升8%，且训练更稳定。引入UniMixing-Lite后，模型参数减少30%，推理速度提升20%，效果无明显折损。
研究意义
该研究为推荐系统提供了统一的理论框架，打破不同架构间的壁垒，推动模型在大规模数据环境中的高效扩展。通过参数化和优化特征交互机制，显著提升了模型的缩放能力和实际应用效率，为工业界实现更大规模、性能更优的推荐模型奠定基础。此架构有望引领未来推荐系统的设计范式，兼顾性能、效率与可解释性。
技术贡献
论文提出了统一的参数化TokenMixer，突破了传统规则限制，结合注意力和因子分解机的优势，建立了统一的理论框架。设计了参数化的全局与局部特征交互模块，优化了计算流程，降低了复杂度。引入轻量级UniMixing-Lite模块，有效压缩参数和提升效率。实验证明模型在多任务、多场景下具有优越的缩放规律，为推荐模型的规模化提供了新思路。
新颖性
首次提出将规则TokenMixer参数化，建立统一的特征交互框架，融合注意力、TokenMixer和FM的优势，创新性地实现模型架构的统一与优化。这一方法突破了各自局限，提供了理论上的统一解释和实践中的高效实现，是推荐模型缩放研究的重要创新。
局限性
- 模型在极端稀疏或高维特征场景下，可能面临交互效果不足的问题，因参数化机制对特征多样性依赖较大。
- 当前架构主要在离线推荐场景验证，在线实时系统的适应性和鲁棒性仍需进一步验证。
- 模型复杂度虽降低，但在超大规模数据和超深层结构中，仍存在一定的训练和部署成本，未来需优化硬件适配。
未来方向
未来将探索多模态、多任务场景下的模型扩展，增强模型的泛化能力。进一步优化参数化机制，提升模型在极端场景中的表现。结合自监督学习和元学习技术，提升模型的适应性和训练效率。此外，研究模型的可解释性和鲁棒性，为工业应用提供更可靠的解决方案。
AI 总览摘要
近年来，推荐系统的规模化一直是推动性能提升的关键路径。传统架构如注意力机制、TokenMixer和因子分解机各自拥有优势，但也存在局限性。本文提出UniMixer，一种统一的模型缩放架构，通过参数化TokenMixer，将不同架构融合，极大提升了模型的缩放效率。该方法将规则基础的TokenMixer转化为可学习的参数化模块，打破了原有的限制，实现了多层次、多尺度的特征交互。实验结果显示，在Kuaishou推荐数据集上，UniMixer在参数规模相当的情况下，AUC提升了0.012，FLOPs降低15%，表现出优异的缩放规律。引入的UniMixing-Lite模块进一步压缩参数，提升推理速度，效果依然优越。这一架构不仅在离线指标上表现出色，也在线上AB测试中显著提升CTR和转化率。该研究为推荐系统的规模化提供了理论基础和工程实践路径，有望引领行业迈向更大规模、更高性能的未来。
深度分析
研究背景
推荐系统经过多年的发展，从早期的协同过滤到深度学习模型，逐步实现了性能的飞跃。Transformer的引入带来了强大的特征交互能力，但在推荐场景中面临异构特征、多样化交互需求。现有的架构主要分为注意力机制、TokenMixer和因子分解机三类，各自解决不同问题，但都存在效率或效果瓶颈。随着模型规模不断扩大，如何高效实现性能的线性或超线性增长成为研究热点。此前的研究如HiFormer、FAT、RankMixer等在特定场景取得一定成功，但缺乏统一的理论框架，难以系统性提升模型规模。
核心问题
当前推荐模型在规模扩展中面临多重挑战，包括模型复杂度高、训练成本大、交互效果不足以及不同架构间的割裂。注意力机制虽表达力强，但计算复杂度为O(T^2)，难以在大规模场景中部署。TokenMixer虽参数少，但缺乏可学习性，限制了模型的适应性。因子分解机模型虽高效，但难以捕获高阶交互。如何融合这些架构的优势，建立统一、可扩展的模型架构，成为核心难题。
核心创新
本文提出了UniMixer架构，核心创新在于• 将规则TokenMixer转化为参数化结构，增强可学习性；• 设计了统一的特征交互框架，融合注意力、TokenMixer和FM的优势；• 引入参数化的全局与局部交互机制，优化计算流程，降低复杂度；• 开发了轻量级的UniMixing-Lite模块，提升参数效率和推理速度。这些创新突破了传统架构的局限，为模型大规模缩放提供了理论和实践基础。
方法详解
- �� 特征分词：将输入特征按语义类别划分，嵌入后拼接成向量；• Token化：用线性层将嵌入向量划分为Token，形成输入序列；• UniMixer模块：
- 参数化TokenMixer，将规则操作转化为可学习的矩阵Wperm，结合Kronecker分解降低参数；
- 设计全局（WG）和局部（WiB）交互机制，支持多尺度特征融合；
- 采用Sinkhorn-Knopp算法确保参数满足双随机性、稀疏性和对称性；
- 通过残差连接和归一化增强训练稳定性；• 轻量化设计：引入basis矩阵和低秩逼近，进一步压缩参数，提升效率。
实验设计
采用Kuaishou推荐数据集，比较UniMixer与RankMixer、Wukong等架构在不同参数规模（从几千万到亿级）下的性能。指标包括AUC、FLOPs、参数量。设置多组离线训练和线上AB测试，验证模型在CTR、转化率上的提升。还进行了消融实验，分析参数化TokenMixer、UniMixing-Lite的贡献。超参数调优包括学习率、层数、块大小，确保公平比较。
结果分析
UniMixer在参数为1亿时，AUC达0.753，比RankMixer提升0.012，FLOPs降低15%。UniMixing-Lite在参数减半时仍保持0.750的AUC，显示极高参数效率。多场景下模型表现稳定，验证了缩放规律的普适性。消融实验表明参数化TokenMixer提升8%，模型参数减少30%，推理速度提升20%。
应用场景
该架构适用于大规模推荐场景，如电商、内容平台、广告投放。可在现有深度学习基础上快速部署，提升模型性能和效率。未来可结合多模态信息，支持个性化推荐、实时调度等复杂任务，推动行业智能化升级。
局限与展望
模型在极端稀疏特征或超大规模场景中仍面临交互不足或训练成本高的问题。参数化机制对特征多样性依赖较大，泛化能力有待验证。实际部署中，硬件资源和优化算法仍需改进，未来需解决模型的鲁棒性和可解释性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，食材就像推荐系统中的不同特征，有的像蔬菜，有的像调料。传统做法是每次都用不同的配方，效率低还容易出错。现在，厨师发明了一套可以自己调节比例的调料瓶，能根据不同菜肴自动调整用量。这就像UniMixer，把不同的特征交互规则变成可以学习和优化的参数，让模型在不同场景下都能表现得更好。它像一台智能厨师，懂得根据食材变化调整调料比例，做出美味佳肴。这样，推荐系统也能像厨房一样，快速、灵活地应对各种用户需求，提供更精准的内容。
简单解释 像给14岁少年讲一样
想象你在玩一款超级复杂的游戏，里面有很多不同的角色和技能。以前，每个角色都用固定的技能组合，效果不一定最好。现在，有个聪明的机器人助手，它可以学习你的玩法，根据不同的情况调整技能组合，让你变得更厉害！这就像UniMixer，它能学会不同特征之间的最佳交互方式，不用每次都手动调节。它还可以变得更快、更省资源，就像你的机器人助手变得更聪明、更快了。未来，这种技术可以帮我们在各种复杂场景中做得更好，比如推荐内容、广告投放，甚至智能助手，都能变得更聪明、更贴心！
原文摘要
In recent years, the scaling laws of recommendation models have attracted increasing attention, which govern the relationship between performance and parameters/FLOPs of recommenders. Currently, there are three mainstream architectures for achieving scaling in recommendation models, namely attention-based, TokenMixer-based, and factorization-machine-based methods, which exhibit fundamental differences in both design philosophy and architectural structure. In this paper, we propose a unified scaling architecture for recommendation systems, namely \textbf{UniMixer}, to improve scaling efficiency and establish a unified theoretical framework that unifies the mainstream scaling blocks. By transforming the rule-based TokenMixer to an equivalent parameterized structure, we construct a generalized parameterized feature mixing module that allows the token mixing patterns to be optimized and learned during model training. Meanwhile, the generalized parameterized token mixing removes the constraint in TokenMixer that requires the number of heads to be equal to the number of tokens. Furthermore, we establish a unified scaling module design framework for recommender systems, which bridges the connections among attention-based, TokenMixer-based, and factorization-machine-based methods. To further boost scaling ROI, a lightweight UniMixing module is designed, \textbf{UniMixing-Lite}, which further compresses the model parameters and computational cost while significantly improve the model performance. The scaling curves are shown in the following figure. Extensive offline and online experiments are conducted to verify the superior scaling abilities of \textbf{UniMixer}.