When Does Knowledge Distillation Hurt? Reliability-Aware Distillation for Low-Resource Language Summarization

近年来，深度学习模型在自然语言处理任务中取得巨大成功，但模型规模不断扩大带来计算成本和部署难题。知识蒸馏作为模型压缩的重要技术，通过让学生模型模仿教师模型的输出，减小模型体积。早期工作如Hinton等（2015）提出软标签蒸馏，随后Kim和Rush（2016）扩展到序列生成。多教师、多层次蒸馏等变体不断涌现，但大多采用均匀策略，忽视样本的差异性。低资源语言如孟加拉语、乌尔都语等，缺乏大规模训练数据，模型性能受限。XL-Sum等多语种数据集的出现，为多语言蒸馏提供了新的平台。尽管如此，如何有效筛选有用样本、避免有害样本干扰，仍是关键难题。

标准的知识蒸馏假设所有样本都能提供有益的信号，但实际中，部分样本的教师软标签可能误导学生，甚至降低模型性能。尤其在低资源环境下，教师模型可能校准不足或信号不稳定，导致蒸馏效果不佳。传统的信心指标如熵或表面指标，难以准确判断样本的蒸馏价值。如何识别哪些样本的蒸馏信号是可靠的，成为提升低资源模型性能的核心难题。解决这一问题，有助于实现更高效、更鲁棒的模型压缩。

本文创新点在于引入梯度对齐作为样本级信号，利用验证梯度与KD梯度的余弦相似度，直接衡量蒸馏样本的有用性。CHAD通过训练轻量门控模型，动态调节每个样本的蒸馏权重，避免有害样本干扰。EWAD结合teacher最大概率的sigmoid门控，动态调节每个token的蒸馏信任度，并引入第二个不兼容教师的几何约束，增强多源知识的结构引导。这些机制超越传统的置信度或表面指标，提供更可靠的样本筛选策略，显著提升低资源模型的性能。

• �� 采样验证集，计算每个样本的梯度对齐得分s(x) = cos(∇θLval, ∇θLKD(x))，衡量样本的蒸馏有用性；
• �� 训练一个梯度提升树模型h(x)，输入特征包括教师统计信息、学生与教师的KL散度、ROUGE一致性、样本长度等，用于预测样本的梯度对齐得分；
• �� 在训练中，将每个样本的蒸馏损失乘以预测的权重h(x)，实现动态调节；
• �� EWAD在token层面，利用teacher最大概率的sigmoid门控g_t = σ(k(p_{T,max,t} - δ))调节每个token的蒸馏信任度，结合交叉熵，形成加权的蒸馏目标；
• �� CPDP引入第二个不兼容词汇表的教师，通过几何距离约束d(ST1, ST2) ≈ d(T1, T2)，引导学生模型在两个教师的结构空间中合理定位，增强多源信息融合。

• �� 使用BanSum Bangla新闻摘要数据集，划分80/10/10，训练学生模型（60M参数）与教师模型（247M参数），采用AdamW优化，学习率5×10^{-5}，训练13轮，早停策略。
• �� 评估指标包括ROUGE-1/2/L和BLEU，采用4束搜索。
• �� 比较多种蒸馏策略：标准KD、启发式门控（熵、ROUGE一致性）以及提出的CHAD和EWAD+CPDP。
• �� 在不同语言和多源教师场景中，进行消融分析，验证梯度对齐信号的有效性和方法的鲁棒性。

• �� 在BanSum测试集，CHAD提升ROUGE-L至0.2541，EWAD+CPDP达0.2587，均优于传统KD（0.2368）和交叉熵（0.2365），参数仅60M，优于50倍大模型Qwen-2.5-3B。
• �� 在15种多语种中，EWAD+CPDP在10种语言中优于基线，特别在教师贡献互补场景中效果最佳。
• �� 结果显示，样本的梯度对齐得分是判断蒸馏有效性的关键指标，传统信心指标效果有限，验证了筛选机制的有效性。

• �� 该方法适用于低资源语言的摘要、翻译等生成任务，尤其在模型压缩和多源知识融合场景中，能显著提升模型性能。
• �� 未来可结合自监督信号，降低样本筛选成本，推广到多任务、多模态环境，推动低资源自然语言处理的发展。

• �� 方法在教师模型校准不足或样本分布偏差大时效果可能受限，且引入梯度计算增加了训练复杂度。
• �� 实验主要集中在摘要任务，泛化到其他生成任务仍需验证。
• �� 未来需优化信号估算效率，降低计算成本。