核心发现
方法论
本文提出基于梯度信息的结构剪枝框架LLM-Pruner，自动识别模型中的依赖结构，利用重要性估算（第一阶和Hessian近似）选择剪枝目标。采用依赖检测算法，自动分组相关结构，避免手动设计。剪枝后通过LoRA快速微调，仅需50K样本和3小时，恢复模型性能。验证在LLaMA、Vicuna、ChatGLM三大模型上，剪枝20%参数仍达94.97%原性能，展现出任务无关、低数据依赖、快速高效的优势。
关键结果
- 在LLaMA-7B模型上，20%参数剪枝后，性能保持在94.97%，仅需3小时微调，验证了方法的高效性和任务无关性。
- 在Vicuna-7B模型中，剪枝20%后性能仅下降7.97%，微调后恢复到原性能的92.03%。
- 通过不同剪枝策略（通道、块）和重要性估算方法，验证了第二阶导数的重要性，剪枝比例最高达60%仍保持较好性能。
研究意义
该研究突破了大模型压缩对训练数据和时间的依赖瓶颈，为模型部署提供了低成本、快速的解决方案。实现任务无关的模型压缩，极大推动了大规模语言模型在边缘设备和实际应用中的普及，解决了模型规模带来的存储和推理延迟问题，具有深远的产业和学术意义。
技术贡献
首次提出结构化剪枝框架LLM-Pruner，结合依赖检测和重要性估算实现自动结构分组，利用LoRA实现快速微调，显著缩短训练时间。提出低资源条件下的模型压缩策略，有效减少对原始训练数据的依赖，提供了理论保证和工程实践的创新结合。
新颖性
该方法首次实现大规模语言模型的结构化剪枝，自动识别依赖结构，无需手动设计剪枝单元，结合梯度和Hessian近似进行重要性评估，极大提高压缩效率和效果，区别于传统的任务特定或微调导向的压缩方法。
局限性
- 在高压缩比例（>50%）下性能显著下降，仍需探索更优的微调策略和结构识别算法。
- 依赖梯度和Hessian近似在极端稀疏情况下可能不稳定，影响剪枝效果。
- 模型在特定任务上的微调可能引入偏差，影响多任务泛化能力。
未来方向
未来将结合更精细的结构分析和多任务微调策略，提升极端压缩比例下的性能表现。探索自监督和增强学习结合的结构识别方法，进一步降低数据依赖，推动模型压缩的理论研究和工业应用落地。
AI 总览摘要
近年来，大规模语言模型（LLMs）在自然语言理解和生成任务中展现出卓越性能。然而，其庞大的参数规模带来了部署和推理的巨大挑战。传统压缩技术如微调、蒸馏和量化，虽然在某些任务上取得了效果，但难以实现模型的全面压缩，尤其是在保持多任务能力方面。本文提出的LLM-Pruner框架，基于梯度信息的结构化剪枝方法，自动识别模型中的依赖结构，避免手动设计剪枝单元，极大提升了压缩效率。该方法通过重要性估算（结合一阶梯度和Hessian近似），选择对模型性能影响最小的结构进行剪除。采用LoRA技术，微调时间缩短至3小时，仅需50K样本，显著降低了数据和时间成本。实验证明，在LLaMA、Vicuna和ChatGLM三大模型上，剪枝20%参数后，模型性能仍达94.97%的原始水平，验证了其任务无关性和高效性。这一突破为大模型的实际应用提供了新的解决方案，尤其适合资源有限的场景。未来，结合更复杂的结构依赖分析和多任务微调策略，有望实现更高比例的模型压缩，同时保持甚至超越原模型的性能。该研究不仅推动了模型压缩技术的理论发展，也为工业界的模型部署带来了实用价值。
深度解读
原文摘要
Large language models (LLMs) have shown remarkable capabilities in language understanding and generation. However, such impressive capability typically comes with a substantial model size, which presents significant challenges in both the deployment, inference, and training stages. With LLM being a general-purpose task solver, we explore its compression in a task-agnostic manner, which aims to preserve the multi-task solving and language generation ability of the original LLM. One challenge to achieving this is the enormous size of the training corpus of LLM, which makes both data transfer and model post-training over-burdensome. Thus, we tackle the compression of LLMs within the bound of two constraints: being task-agnostic and minimizing the reliance on the original training dataset. Our method, named LLM-Pruner, adopts structural pruning that selectively removes non-critical coupled structures based on gradient information, maximally preserving the majority of the LLM's functionality. To this end, the performance of pruned models can be efficiently recovered through tuning techniques, LoRA, in merely 3 hours, requiring only 50K data. We validate the LLM-Pruner on three LLMs, including LLaMA, Vicuna, and ChatGLM, and demonstrate that the compressed models still exhibit satisfactory capabilities in zero-shot classification and generation. The code is available at: https://github.com/horseee/LLM-Pruner