核心发现
方法论
本文分析了基于范数的滤波器剪枝策略的局限性，提出利用几何中值（GM）作为核心思想，衡量层内滤波器的代表性。通过计算每层滤波器的几何中值，识别出与其距离最接近的滤波器，认为这些滤波器具有较高的冗余性，可被替代，从而实现剪枝。该方法不依赖滤波器范数的大小，克服了范数分布不满足条件时的性能下降问题。具体流程包括：在每层计算所有滤波器的几何中值；找到距离其最近的滤波器；将其作为可被剪除的冗余滤波器。该策略结合训练和剪枝，避免了额外微调的需求。实验在CIFAR-10和ILSVRC-2012两个数据集上验证了其有效性。
关键结果
- 在CIFAR-10上，FPGM在ResNet-110上实现了超过52%的FLOPs压缩，且相对准确率提升2.69%。在ResNet-20和ResNet-56上也表现出优异的压缩比和性能保持。
- 在ILSVRC-2012上，FPGM在ResNet-101上实现了超过42%的FLOPs减少，且未出现Top-5准确率下降，优于多项现有剪枝方法。
- 与传统范数剪枝相比，FPGM不依赖滤波器范数的分布特性，表现出更强的鲁棒性和适应性，尤其在范数分布不满足理想条件时依然保持优异性能。
研究意义
该研究突破了滤波器剪枝对范数分布的依赖限制，为深度神经网络的高效压缩提供了新思路。其无需特殊范数分布假设，适应性强，极大推动了模型在移动端和边缘设备上的部署可能性。通过引入几何中值，增强了剪枝的鲁棒性，有助于未来深度模型的轻量化设计，满足实际应用中对速度和能效的双重需求。
技术贡献
本文提出的基于几何中值的滤波器剪枝算法，区别于传统的范数剪枝，提供了理论上的鲁棒性保证。算法核心在于利用几何中值作为滤波器的代表，减少了对滤波器范数分布的依赖。实现上，结合训练过程中的剪枝策略，无需额外微调即可恢复性能。实验验证了该方法在ResNet系列模型上的优越表现，显著提升了模型压缩比例和推理速度，为深度学习模型压缩提供了新的技术路径。
新颖性
本研究首次引入几何中值作为滤波器冗余检测的核心指标，打破了以往依赖范数大小的限制。相较于现有剪枝方法，FPGM不受滤波器范数分布的影响，展现出更强的适应性和鲁棒性。这一创新不仅在理论上提供了新的视角，也在实践中实现了更高的压缩效率和性能保持，填补了深度模型剪枝中对鲁棒性不足的空白。
局限性
- 尽管FPGM在多种模型和数据集上表现优异，但其计算几何中值的过程在极大规模模型中可能存在计算瓶颈，需优化算法效率。
- 该方法主要针对卷积层滤波器，对于全连接层或特殊结构（如Transformer）尚未充分验证其适用性。
- 在极端压缩比例下，可能仍存在性能下降的风险，未来需结合动态剪枝策略进一步提升鲁棒性。
未来方向
未来可结合稀疏性正则化和量化技术，进一步提升模型压缩率。探索多层次、多尺度的几何中值计算策略，以适应更复杂的网络结构。同时，结合自动化超参数调节，优化剪枝比例和策略，推动深度模型在边缘设备上的广泛应用。
AI 总览摘要
深度卷积神经网络（CNN）在图像识别等任务中取得了卓越表现，但其庞大的参数量和计算成本限制了其在移动设备上的部署。传统剪枝方法多依赖滤波器范数，试图剪除“较不重要”的滤波器，但其效果受限于范数分布的理想假设。本文提出一种基于几何中值（GM）的新型滤波器剪枝策略，突破了范数依赖的限制。通过计算每层滤波器的几何中值，识别出与其距离最接近的滤波器，视为冗余，进行剪除。该方法在不依赖范数分布的情况下，表现出优异的压缩效果。在CIFAR-10上，ResNet-110模型实现了超过52%的FLOPs削减，准确率反而提升2.69%；在ILSVRC-2012上，ResNet-101模型减少了超过42%的FLOPs，且无Top-5准确率下降。实验结果显示，FPGM优于多项现有剪枝技术，具有极强的鲁棒性和适应性。该技术为深度模型的轻量化提供了新思路，有望推动模型在边缘设备上的广泛应用。未来研究将结合稀疏化和量化技术，进一步提升压缩比和推理速度，满足实际场景的多样需求。
深度分析
研究背景
深度学习模型在图像识别、目标检测等领域取得巨大成功，但模型庞大导致推理速度慢、能耗高，限制了其在移动端和边缘设备的应用。早期方法如剪枝、量化和结构化稀疏等试图解决这一问题。剪枝技术通过去除冗余参数，显著减小模型规模，提升推理效率。代表性工作包括Han等的稀疏化方法和Li等的结构剪枝。近年来，随着模型规模不断扩大，模型压缩成为研究热点。然而，现有剪枝方法多依赖参数范数或敏感性分析，受限于滤波器范数的分布特性，难以在非理想条件下保持性能。本文在此背景下提出基于几何中值的剪枝策略，旨在克服范数依赖的局限，推动模型压缩技术的进一步发展。
核心问题
现有滤波器剪枝方法多依赖范数大小，认为范数较小的滤波器重要性低，但这一假设在实际中并不总成立。范数分布不满足理想条件时，剪枝效果明显下降，甚至导致性能崩溃。此外，范数差异小或最小范数不接近零的情况普遍存在，限制了剪枝策略的鲁棒性。如何在不依赖范数分布的前提下，准确识别冗余滤波器，成为亟待解决的问题。这不仅关系到模型压缩的效率，也影响到实际部署的可行性。
核心创新
本文创新点在于引入几何中值（GM）作为滤波器冗余检测的核心指标。通过计算每层滤波器的GM，识别出与其距离最接近的滤波器，认为这些滤波器具有高度冗余，可被剪除。该策略避免了对范数分布的依赖，增强了剪枝的鲁棒性。算法结合训练过程中的剪枝策略，无需额外微调即可恢复性能。实验在ResNet系列模型上验证了其优越性，显著提升了压缩比和推理速度，为深度模型压缩提供了新思路。
方法详解
- �� 在每层计算所有滤波器的几何中值（GM），作为该层滤波器的代表点。
- �� 对每个滤波器，计算其与GM的欧氏距离。
- �� 选择距离GM最近的滤波器作为冗余候选，认为其与其他滤波器信息高度重叠。
- �� 将这些候选滤波器剪除，视为冗余，减少模型参数。
- �� 结合训练过程中的剪枝操作，避免了额外微调的需求。
- �� 在训练过程中，定期执行上述剪枝步骤，逐步压缩模型。
- �� 最终获得压缩后、性能几乎不变的模型，显著提升推理速度。
实验设计
在CIFAR-10和ILSVRC-2012两个公开数据集上验证方法效果。使用ResNet-110、ResNet-101等模型，设定不同剪枝比例（如30%、40%），比较剪枝前后模型的FLOPs和准确率。采用无微调和微调两种策略，评估模型性能恢复情况。对比多种剪枝算法（如SFP、PFEC），验证FPGM的优越性。实验还分析了不同层次剪枝的影响，确保方法的普适性和鲁棒性。通过多次重复实验，统计准确率变化和压缩比，确保结果的可靠性。
结果分析
FPGM在ResNet-110上实现了52%以上的FLOPs压缩，准确率提升2.69%；在ResNet-101上实现了42%以上的FLOPs减少，未出现Top-5准确率下降。与传统范数剪枝相比，表现出更强的鲁棒性，尤其在范数分布不理想时依然保持优异性能。多层次剪枝实验显示，方法在不同层次均能获得显著压缩效果，且模型性能几乎无损。整体而言，FPGM在模型压缩和推理加速方面优于多项现有技术，为深度学习模型的实际部署提供了强有力的技术支撑。
应用场景
该方法适用于需要模型轻量化的场景，如移动端、边缘计算设备和实时应用。只需在训练后或微调阶段执行剪枝，无需特殊硬件支持，便于集成到现有深度学习框架中。特别适合对模型大小和推理速度有严格要求的工业应用，如自动驾驶、智能监控和AR/VR系统。未来，结合硬件感知的剪枝策略，有望实现更高效的模型部署。
局限与展望
目前算法在极端压缩比例下可能出现性能下降，且几何中值计算在超大模型中存在计算瓶颈。算法主要针对卷积层，对于全连接层和特殊结构（如Transformer）尚未充分验证。未来需优化几何中值的计算效率，扩展到更多模型结构，并结合动态剪枝策略以提升鲁棒性和适应性。
通俗解读 非专业人士也能看懂
想象你在整理一个厨房里的食材。每次做饭前，你会检查所有食材的状态，发现有些食材其实可以用得很少甚至不用了，因为它们和其他食材重复或多余。传统方法就像只看食材的重量，轻的可能代表不重要，但有时候轻的食材其实很重要。本文提出一种新办法，就像用一种智能的测量工具，找出厨房里那些可以被替代或省略的食材，而不用依赖重量大小。这样一来，厨房可以变得更整洁，做饭也更快。这个方法让厨房里的食材变得更合理，既省时间又不影响味道。
简单解释 像给14岁少年讲一样
想象你在玩一款游戏，里面有很多角色和装备。有些装备看起来很酷，但其实用处不大，或者和其他装备重复。以前的人常用的方法是只看装备的重量，轻的就觉得没用，但其实轻的装备有时候很重要。现在，这个新方法像是用一种聪明的算法，能找到那些其实可以不用的装备，而不用只看重量。它会找出那些和其他装备差不多、可以互相替代的装备，然后把它们去掉。这样你的角色就能变得更快、更强，装备也更轻便。就像整理书包一样，把不重要的东西扔掉，剩下的都能帮你更好地完成任务。这种方法让游戏变得更有趣，也让你更快赢得胜利！
原文摘要
Previous works utilized ''smaller-norm-less-important'' criterion to prune filters with smaller norm values in a convolutional neural network. In this paper, we analyze this norm-based criterion and point out that its effectiveness depends on two requirements that are not always met: (1) the norm deviation of the filters should be large; (2) the minimum norm of the filters should be small. To solve this problem, we propose a novel filter pruning method, namely Filter Pruning via Geometric Median (FPGM), to compress the model regardless of those two requirements. Unlike previous methods, FPGM compresses CNN models by pruning filters with redundancy, rather than those with ''relatively less'' importance. When applied to two image classification benchmarks, our method validates its usefulness and strengths. Notably, on CIFAR-10, FPGM reduces more than 52% FLOPs on ResNet-110 with even 2.69% relative accuracy improvement. Moreover, on ILSVRC-2012, FPGM reduces more than 42% FLOPs on ResNet-101 without top-5 accuracy drop, which has advanced the state-of-the-art. Code is publicly available on GitHub: https://github.com/he-y/filter-pruning-geometric-median