核心发现
方法论
LayerMerge结合卷积层与激活层的联合剪枝，通过构建代理优化问题，利用动态规划高效求解。算法核心包括层选择、核大小控制与性能-延迟权衡，提出层合并的最优策略。具体步骤为：定义剪枝集合、构造重要性与延迟查找表、利用DP求解最优层组合，确保满足延迟预算同时最大化模型性能。该方法兼容ResNet、MobileNetV2、DDPM等架构，显著优于现有深度压缩与剪枝技术。
关键结果
- 在ImageNet上ResNet-34模型，LayerMerge实现1.36×加速，准确率提升至74.26%，优于深度压缩（Depth-78%）和层剪枝（LayerOnly-73%）等方法。MobileNetV2在不同压缩比例下，速度提升至2.49×，准确率保持在70.99%。在生成任务DDPM上，模型压缩后生成质量未明显下降，延迟显著降低，验证了方法的广泛适用性。
- 在多任务、多架构环境中，LayerMerge展现出稳定的性能优势，尤其在低通道模型中，联合剪枝策略有效避免核大小膨胀带来的延迟反弹。对比传统剪枝与深度压缩，整体性能提升约10%以上，压缩比更优，模型鲁棒性增强。
- 通过消融实验验证联合优化的重要性，单独剪枝或深度压缩效果均逊色于联合策略。算法复杂度为O(L²P K₀)，在GPU上几秒内完成查找表构建，具有良好的实用性和扩展性。
研究意义
该研究突破了深度压缩中核大小膨胀的瓶颈，提出联合剪枝与合并策略，为神经网络模型的高效部署提供理论与实践基础。其在图像分类、生成等多任务场景中表现出优异性能，有助于推动边缘设备、实时推理等应用的发展。通过动态规划保证最优解，提升了压缩效果的可控性与可解释性，为未来模型压缩技术提供了新的思路与工具。
技术贡献
创新点在于引入卷积层联合剪枝机制，突破传统只剪激活或层的限制，提出基于代理优化的动态规划求解框架。算法结合重要性评估与核大小控制，确保压缩后模型延迟与性能的平衡。理论上，证明DP算法的最优性与复杂度为O(L²P K₀)，实现了高效、精确的模型压缩。技术上，结合核大小控制与联合剪枝，为模型压缩提供了新范式，拓展了深度压缩的应用边界。
新颖性
首次提出联合剪枝卷积层与激活层的深度压缩策略，有效解决核大小膨胀问题，超越现有只剪层或只剪激活的局限。利用动态规划构建最优层组合，结合重要性与延迟建模，实现压缩与加速的双赢。该方法在多个架构和任务中验证了其优越性，具有较强的创新性和实用价值。
局限性
- 算法依赖于离散化延迟值，可能在极端压缩比例下性能略有下降，且对硬件特性敏感。模型在特定硬件上优化，迁移到不同平台需重新校准延迟查找表。
- 联合剪枝增加了算法复杂度，尽管在GPU上运行快速，但在极大模型或超大层数网络中可能面临扩展瓶颈。
- 目前主要验证在图像分类与生成任务，其他领域如自然语言处理或视频分析的适应性尚未充分验证。
未来方向
未来将探索多目标优化框架，兼顾能耗、存储与延迟的多维约束。结合硬件感知模型，提升算法在边缘设备上的实用性。还计划扩展到多模态模型和大规模预训练模型，优化压缩策略的自动化与智能化，推动深度模型的普适高效部署。
AI 总览摘要
LayerMerge提出了一种创新的深度压缩策略，通过联合剪枝卷积层与激活层，有效解决了传统深度压缩中核大小膨胀的问题。该方法利用代理优化模型，构建重要性与延迟查找表，结合动态规划算法，快速找到满足延迟预算的最优层组合。实验证明，在ResNet-34、MobileNetV2和DDPM等架构上，LayerMerge实现了显著的加速效果（最高达2.49×），同时保持甚至提升了模型性能。相较于单纯的层剪枝或深度压缩，联合策略在压缩比和鲁棒性方面表现更优，验证了其广泛适用性。该技术不仅在图像分类任务中展现出优势，也在生成模型中保持了高质量输出，为模型部署提供了更高效的解决方案。未来，将结合硬件感知优化、多目标调度，推动深度模型在边缘设备上的广泛应用。尽管如此，算法在极端压缩情况下仍需优化，特别是在多模态和大规模预训练模型中，仍有待进一步验证和扩展。
深度分析
研究背景
深度神经网络在视觉任务中取得突破性进展，但模型规模庞大，推理延迟高，限制了边缘设备应用。早期工作如VGG、ResNet通过剪枝、量化减小模型体积，但难以兼顾速度与性能。近年来，深度压缩技术不断发展，包括通道剪枝、结构化剪枝、深度压缩等，旨在实现模型高效部署。Kim等（2023）提出的深度压缩方法通过合并卷积层提升速度，但核大小膨胀限制了效果。层剪枝策略如Elkerdawy等（2020）在降低模型复杂度方面表现优异，但在硬件延迟方面仍有不足。Diffusion模型如DDPM的高计算成本推动了模型压缩的需求，促使研究探索更高效的深度压缩方案。
核心问题
传统深度压缩方法在合并卷积层时，核大小不断膨胀，导致延迟反弹，削弱了深度减少的效果。单纯剪除激活或层，难以兼顾模型性能与硬件效率。如何在保证模型性能的同时，有效控制核大小，提升推理速度，成为亟待解决的关键问题。现有方法多局限于单一剪枝策略，未能充分利用层间关系，导致压缩效果有限，特别是在低通道模型中表现不佳。
核心创新
本研究提出LayerMerge，结合卷积层与激活层的联合剪枝策略，突破核大小膨胀瓶颈。引入代理优化问题，通过动态规划求解最优层组合，兼顾性能与延迟。创新点包括：1）同时剪除卷积与激活层，避免核大小膨胀；2）构建重要性与延迟查找表，提升搜索效率；3）理论证明DP算法的最优性，确保压缩效果最大化。此策略显著改善了模型压缩的效果，为模型部署提供了新思路。
方法详解
- �� 定义剪枝集合：A（激活层）与C（卷积层），限制在不可简化的层索引R上。
- �� 构建重要性I与延迟T查找表，利用层间结构关系，减少计算复杂度。
- �� 设计代理优化问题，目标最大化性能，满足延迟约束。
- �� 利用动态规划，递归求解最优层组合，保证全局最优。
- �� 在不同架构上进行微调与合并，确保模型性能与硬件效率同步提升。
实验设计
采用ImageNet数据集，测试ResNet-34、MobileNetV2和DDPM模型。对比深度压缩、层剪枝、通道剪枝等方法，评估准确率与延迟加速比。设置不同压缩比例，进行多轮微调，确保公平性。硬件平台为RTX2080 Ti，测量PyTorch与TensorRT上的推理速度。通过消融实验验证联合剪枝的优势，分析核大小控制对性能的影响。
结果分析
在ResNet-34上，LayerMerge实现1.36×加速，准确率提升至74.26%，优于深度压缩（Depth-78%）和层剪枝（LayerOnly-73%）。MobileNetV2在不同压缩比例下，速度最高达2.49×，准确率保持在70.99%。在DDPM生成任务中，模型压缩后生成质量无明显下降，验证了方法的通用性。算法在极端压缩情况下仍保持稳定，压缩比优越，模型鲁棒性增强。
应用场景
该方法适用于需要高效推理的视觉任务，如移动端图像识别、实时视频分析和边缘设备部署。结合硬件感知模型，可以实现自动化压缩策略，优化模型在不同硬件平台上的表现。未来还可扩展到自然语言处理、多模态任务，推动深度模型的普适高效应用。
局限与展望
算法依赖离散延迟模型，可能在极端压缩比例下性能下降。硬件特性影响较大，迁移需重新校准。联合剪枝增加计算复杂度，面对超大模型时存在扩展瓶颈。主要验证在视觉任务，其他领域适应性待验证。未来需优化算法复杂度与通用性。
通俗解读 非专业人士也能看懂
想象你在整理一个复杂的工厂生产线。每个工序代表神经网络中的一层，某些工序可以省略或合并，以提高效率。传统方法就像直接把连续的工序合并，但这样会让合并后的设备变得更大、更慢。LayerMerge就像聪明地决定哪些工序可以省略，哪些可以合并，同时确保生产速度快又不影响产品质量。它用一种智能的计划表，提前算好每个工序的影响，最后只留下最重要的步骤，整个流程变得更快更高效。这就像你用数学和电脑算法，帮工厂设计出最优的生产线，既省时间又保证质量。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏。每一块拼图代表神经网络中的一层，有些拼图可以不用放，或者可以和邻近的拼图合在一起。以前的方法就像随便把拼图合在一起，结果拼图变得越来越大，拼图速度变慢。LayerMerge就像用一个聪明的算法，决定哪些拼图可以省略，哪些可以合在一起，确保拼图既快又漂亮。它会提前算好每个拼图的影响，最后只留下最重要的部分，拼图变得更快、更漂亮。这就像你用数学和电脑帮你设计出最棒的拼图方案，让你既省时间，又能拼出完美的图案。
原文摘要
Recent works show that reducing the number of layers in a convolutional neural network can enhance efficiency while maintaining the performance of the network. Existing depth compression methods remove redundant non-linear activation functions and merge the consecutive convolution layers into a single layer. However, these methods suffer from a critical drawback; the kernel size of the merged layers becomes larger, significantly undermining the latency reduction gained from reducing the depth of the network. We show that this problem can be addressed by jointly pruning convolution layers and activation functions. To this end, we propose LayerMerge, a novel depth compression method that selects which activation layers and convolution layers to remove, to achieve a desired inference speed-up while minimizing performance loss. Since the corresponding selection problem involves an exponential search space, we formulate a novel surrogate optimization problem and efficiently solve it via dynamic programming. Empirical results demonstrate that our method consistently outperforms existing depth compression and layer pruning methods on various network architectures, both on image classification and generation tasks. We release the code at https://github.com/snu-mllab/LayerMerge.