BAHSD: Bridging the Long-tail Gap via Adaptive Distillation in Black-box Sequential Recommendation

TL;DR

BAHSD通过多尺度一致性探测和自适应蒸馏,提升黑盒推荐系统长尾用户性能,尾用户Recall@10提升80%。

cs.IR 🔴 高级 2026-06-02 32 次浏览
Xi Zhou Famin Wu Mingming Li Hongyue Zhang Jiao Dai Jizhong Han Tao Guo
黑盒推荐 知识蒸馏 长尾优化 信息论 对比学习

核心发现

方法论

BAHSD通过多尺度一致性探测量化信号可靠性,结合动态温度KL散度、排序一致性和对比学习,针对长尾用户的噪声和头部用户的偏好固化问题设计自适应蒸馏目标。

关键结果

  • 在Amazon Beauty数据集上,BAHSD的尾用户Recall@10提升81.38%,并超越教师模型4.75%。
  • 在MovieLens-1M数据集上,BAHSD对尾用户Recall@10提升19.4%,同时保持头用户性能稳定。
  • 消融实验显示,去除对比学习模块会导致Recall@10下降9.3%,证明其对长尾用户噪声抑制的重要性。

研究意义

BAHSD首次在黑盒推荐场景下解决用户信号异质性问题,显著提升长尾用户性能,提供了一种无需用户分层或元数据的通用蒸馏框架,对学术界和工业界均有重要意义。

技术贡献

提出多尺度一致性探测机制,动态调整蒸馏策略;引入跨尺度对称KL约束和对比学习模块,增强模型鲁棒性和语义区分能力;实现了黑盒条件下的高保真知识转移。

新颖性

首次识别并量化黑盒推荐中的信号异质性问题,创新性地通过多尺度探测和自适应目标解决长尾用户噪声和头用户过拟合问题。

局限性

  • 对稀疏数据集的性能提升显著,但在密集数据集上的改进相对有限。
  • 模型对超参数(如截断比例和温度系数)较为敏感,需要精细调参。
  • 未考虑多模态数据或用户上下文信息的潜在影响。

未来方向

未来可探索将BAHSD扩展到多模态推荐场景,或结合用户上下文信息进一步提升信号可靠性评估的精度。

AI 总览摘要

推荐系统广泛应用于电商和流媒体平台,但黑盒API限制了模型的透明性和定制化能力。现有蒸馏方法忽略了用户信号的异质性,导致长尾用户噪声过拟合和头用户偏好固化问题。

BAHSD框架通过多尺度一致性探测量化信号可靠性,并设计自适应分层目标:动态温度KL散度缓解头用户的偏好固化,排序一致性和对比学习增强尾用户的语义区分能力。实验显示,BAHSD在Amazon Beauty数据集上尾用户Recall@10提升81.38%,在MovieLens-1M数据集上提升19.4%。

尽管在稀疏数据集上表现卓越,BAHSD在密集数据集上的改进有限。未来可结合多模态数据和上下文信息,进一步提升模型的适应性和鲁棒性。

深度分析

研究背景

推荐系统近年来通过Transformer模型(如SASRec和BERT4Rec)取得了显著进展,但其黑盒部署限制了模型的透明性和知识转移能力。现有蒸馏方法假设教师信号一致可靠,忽略了用户交互数据的长尾分布特性。

核心问题

长尾用户的稀疏交互导致教师模型输出噪声化,而头用户的密集交互则引发偏好固化。这种信号异质性被现有方法忽视,导致蒸馏性能下降。

核心创新

BAHSD通过多尺度一致性探测量化信号可靠性,动态调整蒸馏策略;引入跨尺度对称KL约束和对比学习模块,解决了长尾用户噪声和头用户过拟合问题。

方法详解

  • �� 多尺度一致性探测:通过短、中、全序列截断评估信号可靠性。
  • �� 动态温度KL散度:缓解头用户的偏好固化。
  • �� 排序一致性与对比学习:增强尾用户的语义区分能力。
  • �� 跨尺度对称KL约束:过滤尾用户的噪声信号。

实验设计

实验在Amazon Beauty和MovieLens-1M数据集上进行,使用SASRec和BERT4Rec作为教师模型。评估指标包括Recall@10和NDCG@10,并进行了消融实验验证各模块贡献。

结果分析

BAHSD在Amazon Beauty数据集上尾用户Recall@10提升81.38%,在MovieLens-1M数据集上提升19.4%。消融实验显示,对比学习模块对尾用户性能提升至关重要。

应用场景

BAHSD可用于电商平台的推荐优化,特别是提升长尾用户的推荐质量,同时适用于需要高保真知识转移的其他黑盒模型场景。

局限与展望

模型对超参数敏感,且在密集数据集上的改进有限。未来可探索多模态数据和上下文信息的结合。

通俗解读 非专业人士也能看懂

想象一个老师教学生,头部学生(头用户)有很多问题,但老师只教他们最擅长的部分,导致学生只学到局部知识;而尾部学生(尾用户)问题少,但老师的回答模糊不清。BAHSD像一个聪明的助教,根据学生的情况调整教学策略:对头部学生,帮助他们全面理解;对尾部学生,提供清晰具体的答案。

简单解释 像给14岁少年讲一样

想象你玩一个游戏,高手玩家(头用户)总是重复同样的招式,而新手玩家(尾用户)乱按键,结果游戏AI学得一团糟!BAHSD就像一个聪明的AI助手,它会观察高手和新手的行为,分别调整学习策略,让AI既能模仿高手的技巧,又能理解新手的意图。

术语表

黑盒模型 (Black-box Model)

无法直接访问内部参数和梯度的模型,通常通过API提供预测。

BAHSD在黑盒推荐场景下工作,仅依赖教师模型的输出。

长尾分布 (Long-tail Distribution)

用户交互数据中,少数用户贡献大量数据,而多数用户数据稀疏。

长尾分布导致教师信号异质性,影响蒸馏效果。

动态温度KL散度 (Dynamic-temperature KL Divergence)

通过调整温度参数平滑分布,缓解头用户的偏好固化问题。

用于蒸馏高置信度信号。

对比学习 (Contrastive Learning)

通过拉近正样本距离、拉远负样本距离增强语义区分能力。

用于尾用户的语义区分增强。

跨尺度一致性 (Cross-scale Consistency)

通过对称KL约束,确保模型在不同序列截断下的输出一致性。

用于过滤尾用户的噪声信号。

开放问题 这项研究留下的未解疑问

  • 1 如何在多模态推荐场景中扩展BAHSD的信号可靠性评估?
  • 2 是否可以结合用户上下文信息进一步提升长尾用户性能?

应用场景

近期应用

电商推荐优化

提升长尾用户的推荐质量,增加用户粘性和转化率。

流媒体内容推荐

优化冷门内容的推荐效果,增加内容多样性。

远期愿景

通用知识蒸馏框架

为其他黑盒模型提供高保真知识转移解决方案,推动模型透明性和可解释性。

原文摘要

Sequential recommendation systems are widely adopted but often deployed as black-box APIs, which has driven recent interest in model extraction to replicate their capabilities locally. However, the long-tail distribution induces severe signal heterogeneity: dense head sequences trigger the solidification of teacher preference, biasing extraction toward local patterns, while sparse tail sequences yield flat, noisy predictions. Existing one-size-fits-all extraction overlooks this disparity, resulting in noise overfitting and suboptimal knowledge transfer. We propose BAHSD, a black-box adaptive distillation framework that handles signal heterogeneity via a multi-scale consistency probing mechanism to implicitly quantify signal reliability. Based on this, an adaptive hierarchical objective is designed: dynamic-temperature KL divergence mitigates preference solidification for high-confidence signals, while ranking consistency and InfoNCE contrastive learning provide noise-robust enhancement for low-confidence signals. BAHSD consistently outperforms baselines, achieving up to 4.98\% gain over the teacher and 80\%+ improvement on tail users, offering a plug-and-play solution for high-fidelity black-box recommendation extraction.

cs.IR cs.AI