核心发现
方法论
作者把卷积核、捷径分支和输出层全部冻结在随机初始化，只训练BatchNorm里的仿射参数γ与β；BatchNorm采用“先归一化、再缩放平移”，且放在激活前。这样网络只保留随机特征，但每层仍可用γ/β对每个通道做按特征的门控、缩放与偏移，从而检验仿射参数本身的表达能力。
关键结果
- 在CIFAR-10上，ResNet-110全参训练可达93.3%测试精度；只训练γ/β时仍有69.5%，而此时可训练参数仅8.3K，占0.48%。更深/更宽后进一步提升：ResNet-866达82%，WRN-14-32达73%。
- 在ImageNet上，ResNet-200只训练BatchNorm可达32% top-5；若连输出层也一起训练，top-5升至57%，top-1升至32%。但只训练同等数量的随机参数，CIFAR-10仅约56%，ImageNet top-5不足4%。
- γ会自然学出稀疏性：ResNet-110中约27%的γ、ResNet-101中约33%的γ满足|γ|<0.01，等价于关闭约四分之一到三分之一通道。相比之下，全参训练时对应比例仅约4%和5%。
研究意义
这项工作把BatchNorm中常被视为“附属品”的γ/β提升为研究对象，说明即使没有可学习特征，仅靠对随机特征做逐通道缩放和平移，CNN也能在CIFAR-10和ImageNet上获得远高于随机猜测的性能。它重新定义了我们对深网表达力的直觉：不是只有卷积核在“学表示”，连仿射参数也能承担重要的判别功能。
技术贡献
技术上，论文提出一种极端但干净的控制实验：冻结全部权重，仅优化BatchNorm的γ/β，并与“训练同数量随机参数”“训练输出层”“全参训练”做严格对照。作者还分析了γ的分布、稀疏化与通道关闭现象，发现BatchNorm-only性能部分来自自动选择并屏蔽随机特征，而不是单纯依赖参数总数。这为理解随机特征网络、参数效率和通道门控提供了新视角。
新颖性
新颖性在于，它不是简单报告“随机网络也能学”，而是首次系统比较“只训练BatchNorm”与“等量随机参数训练”的表达力差异，并在CIFAR-10与ImageNet的大规模ResNet上验证。与Rahimi & Recht式随机特征+线性读出不同，这里仿射参数分布在每层、且位于非线性之前，因此形成的是分层的随机特征重标定网络。
局限性
- 该方法性能虽高但仍明显低于全参训练：例如ResNet-110在CIFAR-10上从93.3%降到69.5%，说明随机特征+仿射并不能替代端到端学习，尤其在细粒度判别上仍受限。
- 对随机初始化与网络深度/宽度较敏感；论文也观察到性能随BatchNorm参数数目近似线性增长，提示存在容量上限与收益递减，不能无限外推。
- ImageNet上若只训练BatchNorm而冻结输出层，top-1/top-5受1000类分类头限制更明显，说明最终线性读出对大规模类别区分仍很关键。
未来方向
未来可进一步研究：哪些随机特征初始化最适合被γ/β重标定；BatchNorm稀疏化是否可与结构剪枝结合；在检测、分割、多任务和自监督中，仿射参数是否同样是主要适配器；以及能否构造更强的“冻结主干+训练仿射”的参数高效学习范式。
AI 总览摘要
这篇论文抓住了深度学习里一个常被忽视却无处不在的角色：BatchNorm中的γ和β。传统观点更关注卷积核如何学习特征，但作者提出一个更尖锐的问题——如果把所有卷积权重都冻结在随机初始化，只训练BatchNorm的缩放与平移，网络还能学到什么？答案令人意外：还能学到很多。
研究者在CIFAR-10与ImageNet上测试多种ResNet和Wide ResNet。以ResNet-110为例，全参训练可达93.3%测试精度；只训练8.3K个BatchNorm参数（仅0.48%）时，仍能达到69.5%。更深的ResNet-866在CIFAR-10上达到82%，ResNet-200在ImageNet上达到32% top-5。若把同等数量的可训练参数换成网络中随机挑选的普通参数，性能会显著下降，说明γ/β并不是“随便哪里都一样”的参数。
为什么会这样？论文发现，BatchNorm参数像一组精细的阀门：它们会把大量随机通道的γ压到接近0，从而自然关闭约四分之一到三分之一的特征。换句话说，网络并不是在随机特征上“硬拼”，而是在学会挑选、抑制和重标定有用的随机通道。更深或更宽的网络提供更多随机特征，性能也随之线性提升；而训练输出层虽然能再带来一截增益，但真正的核心仍是BatchNorm本身。
这项工作的重要性在于，它把“仿射变换”从配角提升为主角，说明即便没有学习卷积核，神经网络仍拥有相当的表达力。对研究者而言，它为随机特征、参数高效学习和通道门控提供了清晰证据；对工程实践而言，它提示我们：在某些场景下，冻结大部分网络、只训练少量仿射参数，可能已经足够有用。
深度分析
研究背景
BatchNorm自Ioffe & Szegedy提出后几乎成为现代CNN标配。它先按mini-batch统计均值和方差做归一化，再用可学习的γ和β恢复表达自由度。过去关于BatchNorm的解释很多：内部协变量偏移、平滑优化景观、抑制梯度爆炸、促进神经元利用率、甚至带来隐式正则化。但这些工作大多把γ/β当成附属设计，较少单独研究其表达能力。本文延续了Rosenfeld & Tsotsos、Rahimi & Recht等关于随机特征和部分冻结网络的思路，但把焦点明确放在“仿射参数本身能做什么”。
核心问题
核心问题是：若把特征学习完全拿掉，只保留BatchNorm里的逐通道缩放γ与偏置β，模型还能否学习有意义的函数？这个问题难在两点：第一，γ/β通常与卷积权重共同训练，难以分离其贡献；第二，参数量很小，只有0.27%–0.64%，直觉上似乎不足以支撑高精度分类。作者因此用“冻结随机特征、只训练仿射参数”的极端设置，来测量γ/β的独立表达力。
核心创新
创新之一是实验范式：把ResNet/Wide ResNet所有卷积、捷径和输出层冻结为随机初始值，只优化BatchNorm的γ/β，并与全参训练、训练同数量随机参数、训练输出层等基线严格对照。创新之二是把“深度/宽度”作为随机特征资源来扩展：深层与宽层网络提供更多可重标定通道。创新之三是机制分析：观察γ分布、零附近尖峰、以及把小|γ|强制置零后的精度变化，证明性能来自自动门控随机特征，而非单纯参数堆积。
方法详解
- �� 模型：采用He et al. (2015a)的CIFAR-10 ResNet与ImageNet ResNet，以及Wide ResNet；BatchNorm放在激活前。• 冻结策略：卷积层、shortcut、线性输出层全部固定在随机初始化，只训练BatchNorm的γ、β。• 初始化：β置0，γ从[0,1]均匀采样；报告5次(CIFAR-10)或3次(ImageNet)重复的均值与标准差。• 对照组：1) 全参训练；2) 训练等数量的随机参数（每通道两个参数）；3) 训练BatchNorm+输出层；4) 仅输出层。• 指标：CIFAR-10用测试准确率，ImageNet用top-1和top-5。• 机制检查：统计γ分布、|γ|<0.01等阈值下的比例，并把小γ置零后测精度下降。
实验设计
实验覆盖CIFAR-10与ImageNet。CIFAR-10上测试了ResNet-14到ResNet-866以及WRN-14-2到WRN-14-32；ImageNet上测试ResNet-18/34/50/101/200。作者主要比较四类设置：全参训练、只训BatchNorm、训练两随机参数/通道、以及BatchNorm+输出层。还考察深度与宽度扩展、以及γ阈值剪除实验。
结果分析
最核心结果是：BatchNorm-only并非“几乎没用”，而是能在严格受限条件下获得相当高的性能。CIFAR-10上，ResNet-110只训练8.3K个γ/β便达69.5%；ResNet-866达到82%，WRN-14-32达到73%。ImageNet上，ResNet-200达到32% top-5；若再训练输出层，top-5可到57%、top-1可到32%。与之相比，训练等量随机参数最多只到CIFAR-10约56%、ImageNet top-5约4%。
应用场景
这类方法适合参数预算极紧、但允许保留大模型结构的场景，比如多任务学习、个性化适配、风格迁移、联邦学习中的本地微调，以及边缘设备上的轻量更新。其优势是只需训练少量仿射参数，就能在冻结主干的前提下获得显著任务适应能力。
局限与展望
局限在于，它依赖足够深/宽的随机特征库；模型太小则性能明显不足。其次，它对大规模分类仍受限，ImageNet上若输出层也冻结，区分1000类的能力会受压。最后，这并不是端到端学习的替代品，而更像一种“低成本适配器”：能提升效率，但难以触及SOTA。
通俗解读 非专业人士也能看懂
你可以把整篇论文想成一家工厂：卷积层像机器，BatchNorm里的γ和β像每台机器旁边的旋钮和开关。通常我们会同时训练机器和旋钮，让工厂越做越好。但这篇论文故意把机器都锁死，只让工人去拧旋钮。结果很惊人：工厂居然还能做出相当不错的产品。
为什么旋钮这么厉害？因为它们不是乱拧一通，而是在每一步都能把某些流水线放大、把某些流水线关掉。很多看起来“吵闹”的随机线路，被旋钮调到几乎没声音；有用的线路则被放大。更深的工厂有更多流水线可选，所以表现更好。研究者还发现，很多旋钮会自动转到接近0的位置，等于把一部分机器直接关停。
这说明，深度学习里真正有本事的，不一定只有“机器本身”，调机器的人同样重要。哪怕机器一开始是随机摆好的，只要旋钮够多、位置够巧，也能拼出有用的模式。对普通人来说，这就像一间厨房：食材是随机的，但只要火候、盐糖和顺序控制得好，最后还是能做出像样的菜。
简单解释 像给14岁少年讲一样
想象你在玩一个大型建造游戏。平时你会升级建筑、买更好的装备，对吧？但这篇论文很“叛逆”：它把所有建筑都锁定成初始状态，几乎不让你改动，只给你一堆“开关”和“滑杆”去调亮度、音量和开关某些部分。你猜会怎样？居然还能打出不错的成绩！
比如在CIFAR-10上，一套很深的ResNet，正常训练能到93.3%，但只训练这些开关和滑杆，还是能到69.5%。这可不是小打小闹，因为真正能改的参数只占0.48%。更夸张的是，模型越深、越宽，成绩越好，像是给你更多可调节的按钮。
最酷的一点是，很多按钮会自己“关掉”一些没用的通道，差不多有四分之一到三分之一的按钮会转到接近0。也就是说，模型在学会说：“这条路我不用了，关掉！”是不是很像你玩游戏时把没用的技能点洗掉，专心强化主技能？
所以，这篇论文告诉我们：神经网络不只是靠“学会新东西”，也能靠“重新整理手里已有的乱七八糟东西”来变聪明。即使一开始全是随机的，只要会调，照样能做成事。
术语表
BatchNorm
一种先把每个批次里的激活值标准化、再用γ和β恢复可学习尺度与偏移的层。直观上，它让不同通道的数据更容易被后续层处理。本文把它当作唯一可训练部分来研究。
作为核心实验对象；作者训练的是BatchNorm中的γ和β，而不是卷积核。
γ (gamma)
BatchNorm中的缩放系数，控制某个通道的输出被放大还是压小。技术上它是逐特征的可学习乘子，本文发现很多γ会收敛到接近0，从而关闭通道。
用于衡量“只训练BatchNorm”时的通道选择与稀疏化。
β (beta)
BatchNorm中的平移项，用来给标准化后的特征加上偏置。它提供每个通道的基线位移，使网络即使在冻结随机特征时仍有一定表达自由度。
与γ一起作为唯一训练参数，构成特征的仿射变换。
Random features
固定不变、随机初始化得到的特征表示。模型不再学习卷积核本身，而是把任务交给后面的线性或仿射参数去组合这些随机基底。
整篇论文的理论视角：把CNN看成由随机特征和可训练仿射层组成。
Top-5 accuracy
分类任务中，真实类别是否出现在模型预测概率最高的5个类别里。它比top-1更宽松，常用于ImageNet这类大类别数任务。
论文在ImageNet上主要报告top-1和top-5，强调BatchNorm-only在大规模分类上的效果。
开放问题 这项研究留下的未解疑问
- 1 这些随机特征到底“随机到什么程度”仍能被γ/β有效重标定？论文证明了现象，但没有给出严格的特征可表达性刻画。
- 2 BatchNorm-only的稀疏门控是否可迁移到检测、分割或自监督预训练？目前证据主要来自CIFAR-10和ImageNet分类。
应用场景
近期应用
冻结主干的快速任务适配
在多任务学习或风格迁移中，先冻结一个大模型主干，只训练BatchNorm参数即可快速适配新任务，训练成本低，显存和通信开销也更小。
参数受限场景的轻量微调
在边缘设备或联邦学习中，若不能更新全部权重，可只更新γ/β，利用极少参数获得可观性能提升，适合隐私和带宽受限环境。
远期愿景
随机特征驱动的可解释CNN设计
未来可把“随机特征+仿射门控”发展成一类可解释架构：主干固定、适配器可学，从而在效率、可移植性和理论分析之间取得平衡。
原文摘要
A wide variety of deep learning techniques from style transfer to multitask learning rely on training affine transformations of features. Most prominent among these is the popular feature normalization technique BatchNorm, which normalizes activations and then subsequently applies a learned affine transform. In this paper, we aim to understand the role and expressive power of affine parameters used to transform features in this way. To isolate the contribution of these parameters from that of the learned features they transform, we investigate the performance achieved when training only these parameters in BatchNorm and freezing all weights at their random initializations. Doing so leads to surprisingly high performance considering the significant limitations that this style of training imposes. For example, sufficiently deep ResNets reach 82% (CIFAR-10) and 32% (ImageNet, top-5) accuracy in this configuration, far higher than when training an equivalent number of randomly chosen parameters elsewhere in the network. BatchNorm achieves this performance in part by naturally learning to disable around a third of the random features. Not only do these results highlight the expressive power of affine parameters in deep learning, but - in a broader sense - they characterize the expressive power of neural networks constructed simply by shifting and rescaling random features.