核心发现
方法论
本文提出SATS，通过局部敏感性代理替代激活百分位校准，动态调节每层门控阈值，保持模型性能。配合轻量级Token Routing框架，按Token选择基础或稀疏路径，减少不必要计算。实验证明在LLaMA 3.1 8B和Qwen 3 8B模型上，SATS在相同稀疏率下优于传统百分位校准，Token Routing则在提升质量与吞吐比方面优于静态稀疏方案。
关键结果
- 在匹配实际稀疏率的条件下，SATS提升平均任务准确率约0.5-1个百分点，且模型在Wiki-Text2和RefinedWeb数据集上的困惑度显著改善。以CATS 50%的目标稀疏为例，SATS实现的实际稀疏率达43.9%，性能优于传统百分位校准的75%。Token Routing在保持模型速度的同时，提升了多任务平均准确率约1-2个百分点，尤其在微调模型中表现更佳。
- 在多任务评估中，SATS和Token Routing均展现出优越的性能，显著改善模型的实际稀疏效果与推理效率。实验还验证了在不同稀疏目标（30%、50%、75%）下，方法的鲁棒性和适应性。
研究意义
本研究突破了激活稀疏化阈值校准的瓶颈，通过敏感性导向的方法提升稀疏化效果，显著改善大模型的推理效率和性能平衡。Token Routing的引入，使得模型在不同Token上实现动态稀疏，极大地推动了高效推理技术的发展，为大规模模型的实际部署提供了新思路。这不仅降低了硬件成本，也为未来模型压缩和加速提供了理论基础和工程方案。
技术贡献
技术创新在于提出SATS的敏感性导向阈值校准机制，替代传统的基于激活百分位的校准，结合局部误差预算实现层级调节。同时引入基于Token身份的动态路径选择框架，极大降低了路由开销。该方法兼容现有激活稀疏机制，提升模型稀疏效果的同时保持推理速度，为大模型稀疏化提供了新工具。实验验证显示，方法在多个公开模型上均优于现有技术，具有良好的推广潜力。
新颖性
本研究首次将敏感性导向的阈值校准引入激活稀疏化领域，避免单纯依赖激活值百分位的局限，提升稀疏效果的同时减少性能损失。Token Routing机制的引入，实现了对不同Token的动态调度，突破了传统静态稀疏的限制。这两项创新结合，为大模型推理效率提供了全新解决方案，具有较强的创新性和实用价值。
局限性
- 当前方法在极高稀疏率（如70%以上）时，仍可能导致性能显著下降，尤其在微调模型中效果有限。阈值校准依赖于校准集的代表性，可能在分布偏移时表现不佳。此外，Token Routing虽低开销，但在极端稀疏策略下仍存在一定的性能折衷，未来需优化路由策略以适应更复杂场景。
未来方向
未来将结合自适应路由策略和多任务学习，进一步提升稀疏化效果的鲁棒性。探索多模态模型中的稀疏机制，扩展到更大规模和更复杂任务中。同时，结合硬件感知优化，推动稀疏模型在实际部署中的应用，解决模型泛化和鲁棒性问题。
AI 总览摘要
大规模语言模型（LLMs）在自然语言处理领域展现出卓越性能，但其庞大的参数规模带来推理成本高昂的问题。传统的稀疏化策略多依赖激活值的百分位校准，忽略了不同层和不同Token对信息损失的敏感性，导致稀疏效果有限。为此，本文提出了敏感性导向的阈值校准方法（SATS），通过局部激活敏感性指标动态调节每层门控阈值，有效减少信息损失，提升稀疏效果。在此基础上，引入轻量级Token Routing机制，根据Token的上下文信息动态选择基础路径或稀疏路径，实现更细粒度的推理优化。实验证明，在LLaMA 3.1 8B和Qwen 3 8B模型上，SATS在相同稀疏率下显著优于传统百分位校准，模型性能提升0.5-1个百分点，困惑度降低。同时，Token Routing在保持模型速度的基础上，进一步提升多任务平均准确率约1-2个百分点，尤其在微调模型中表现更佳。这些创新为大模型的高效推理提供了新的技术路径，推动模型压缩与加速的研究进展。未来，结合硬件感知和多任务学习，将进一步拓展稀疏化技术的应用范围，助力大模型在实际场景中的部署。整体而言，本文的SATS和Token Routing机制为大模型推理效率的提升提供了理论基础和工程方案，具有重要的学术价值和工业应用潜力。
深度分析
研究背景
近年来，大规模预训练语言模型（如GPT、BERT、LLaMA）在自然语言理解和生成任务中取得突破，但其庞大的参数规模带来推理计算瓶颈。激活稀疏化作为模型压缩和加速的重要手段，已成为研究热点。早期方法如剪枝、量化、稀疏连接等，虽有效降低参数量，但在推理速度和模型性能之间存在权衡。近年来，基于门控机制的激活阈值稀疏（如CATS、Zhu et al. 2024）逐渐兴起，通过阈值调节激活值实现稀疏，提升推理效率。尽管如此，现有方法多依赖激活值的百分位统计，忽略了不同层和Token对信息损失的敏感性，导致稀疏效果有限。本文在此背景下，提出敏感性导向的阈值校准机制，结合动态Token路径选择，旨在突破现有技术瓶颈，推动大模型高效推理的发展。
核心问题
当前激活稀疏化方法多采用激活值的百分位校准，未考虑不同层和Token对信息的敏感性差异，导致稀疏化后模型性能下降明显。此外，静态稀疏路径无法适应不同Token的上下文变化，限制了模型的推理效率和质量。如何在保证模型性能的同时，实现更高比例的激活稀疏，成为亟待解决的核心问题。尤其是在实际部署中，模型需要在速度和准确率之间找到最佳平衡点，而现有技术难以兼顾两者。
核心创新
本研究的创新点在于提出SATS的敏感性导向阈值校准机制，利用局部激活敏感性指标动态调节每层门控阈值，避免盲目追求激活值的百分位稀疏，显著提升稀疏效果。其次，引入基于Token身份的动态路径选择（Token Routing），根据Token的上下文信息统计风险，动态决定是否采用稀疏路径，从而实现细粒度的推理优化。这两项创新结合，有效缓解了稀疏化带来的性能损失，推动了大模型高效推理的实现。
方法详解
- �� 设计局部激活敏感性指标，计算每层激活阈值对输出误差的影响，作为校准依据。
- �� 构建阈值候选集，从校准集采样激活值，估算每个阈值的局部误差。
- �� 根据误差预算，动态选择每层最大阈值，满足整体稀疏目标。
- �� 通过全局误差控制，调节模型整体稀疏率，确保性能稳定。
- �� 引入Token Routing，利用校准集统计每个Token的风险指标，存入查找表。
- �� 在推理时，根据Token身份快速路由到基础路径或稀疏路径，减少不必要计算。
- �� 结合阈值校准和Token Routing，实现模型在不同稀疏比例下的性能优化。
实验设计
在LLaMA 3.1 8B和Qwen 3 8B模型上，采用多任务评估（PIQA、OBQA、ARC-E等）和困惑度指标，比较SATS与传统百分位校准的效果。稀疏目标设为30%、50%、75%，通过校准集调优阈值和路由阈，验证模型性能、速度和稀疏率。还在微调模型上测试，分析不同稀疏策略的鲁棒性和适应性，确保方法在实际场景中的实用性。
结果分析
SATS在匹配稀疏率条件下，显著优于传统百分位校准，提升平均任务准确率0.5-1个百分点，困惑度降低。以CATS 50%的目标为例，SATS实现的实际稀疏率为43.9%，模型性能优于75%的百分位稀疏方案。Token Routing在保持推理速度的同时，提升多任务平均准确率1-2个百分点，微调模型中效果更佳。多任务评估显示，方法具有良好的鲁棒性和适应性，适合实际部署。
应用场景
该技术适用于大规模语言模型的高效推理场景，尤其在边缘设备和实时应用中。通过动态稀疏和路径选择，降低硬件成本，加快响应速度，满足工业界对模型压缩和加速的需求。未来结合硬件感知优化，将推动模型在自动驾驶、智能助手等领域的广泛应用。
局限与展望
当前方法在极高稀疏率（70%以上）时仍可能导致性能下降，特别是在微调模型中效果有限。阈值校准依赖校准集代表性，分布偏移时表现不佳。Token Routing虽低开销，但在极端稀疏下仍存在性能折衷。未来需优化路由策略和误差预算，提升鲁棒性和适应性。
通俗解读 非专业人士也能看懂
想象一个工厂里生产不同的商品。每个工人负责不同的任务，有的任务很重要，有的则可以少做一些。工厂为了节省时间和成本，会让一些工人在不那么重要的任务上少工作，甚至暂时不工作。这个方法就像在大模型中，把一些神经元（工人）在不那么关键的地方“关掉”或“少用”，以加快整体生产速度，同时保证产品质量。为了确保不影响最终产品，工厂还会根据每个工人的工作重要性，动态调整他们的工作量。这样，工厂既快又能保证商品质量，就像模型在稀疏的同时还能保持准确一样。
简单解释 像给14岁少年讲一样
想象你在玩一款超级复杂的游戏，里面有很多任务和角色。每次你完成任务时，不是每个角色都必须全力以赴。有些角色可以少点行动，帮你节省时间，但你要确保游戏的整体体验不变。这个研究就像是在让模型中的一些“角色”在不那么重要的时候少工作，这样模型运行得更快，还能保持不错的表现。科学家们设计了一套聪明的方法，判断哪些角色可以少做，哪些必须全力以赴。还会根据每个任务的不同，动态调整角色的工作量。这样一来，模型既快又不失准，像是在游戏中找到最佳的平衡点。
原文摘要
Efficient inference in Large Language Models (LLMs) requires deciding where computation can be reduced while preserving model quality. We study this problem through multilayer perceptron (MLP) activation sparsification and token-level conditional routing. We first propose Sensitivity-Aware Thresholding for Sparsity (SATS), a threshold calibration method to choose layerwise gate thresholds using a local MLP output sensitivity proxy rather than calibrating thresholds directly from activation percentiles. While SATS retains the existing mechanism of sparsifying MLP activations by thresholding gate activations, it replaces percentile-based calibration with a sensitivity-aware selection rule. We then introduce a lightweight token routing framework that dynamically selects between a base path and a modified path on a per-token basis, rather than applying the modified computation uniformly to all tokens. We evaluate both methods on multiple recent open-weight LLMs. Our results show that SATS improves over the threshold-based sparsification baseline at matched actual sparsity and that token routing yields a more favorable quality-throughput trade-off than static activation modification baselines. Overall, our results suggest that improved threshold calibration and token routing can improve the quality-throughput trade-off in LLMs.