LiveForesighter: Generating Future Information for Live-Streaming Recommendations at Kuaishou

TL;DR

LiveForesighter用Transformer预测直播高光趋势与未来商品,已部署于覆盖4亿日活用户的快手服务。

cs.IR 🔴 高级 2025-02-10 16 次浏览
Yucheng Lu Jiangxia Cao Xu Kuan Wei Cheng Wei Jiang Jiaming Zhang Yang Shuang Liu Zhaojie Liyin Hong
直播推荐 未来信息预测 Transformer 时间序列 快手

核心发现

方法论

LiveForesighter扩展工业推荐排序模型,联合建模两类序列:每30秒采集的曝光、观众、点击、评论、点赞、订单、GMV、礼物价值等统计序列,以及直播间历史商品ID和三级类目序列。统计分支采用ReVIN与iTransformer预测未来5步行为趋势;商品分支使用Embedding与Transformer预测下一个三级类目,并将生成结果作为排序特征。

关键结果

  • 论文报告该系统自2024年7月起部署于快手多个服务,覆盖约4亿日活跃用户;作者称离线、在线及消融实验均验证有效,但所给全文片段未提供具体CTR、LVTR、CVR提升百分比或实验表格数值。
  • 在建模设计上,统计预测同时提供当前序列表示与未来行为估计,使排序器能够识别正向行为上升、高光时刻及其持续性;商品预测则利用作者连续选品风格判断用户未来是否仍可能感兴趣。
  • 消融问题围绕未来信息生成精度、统计序列参数和在线分发影响展开;论文摘要确认存在相关分析,但当前材料未给出各消融项的具体数值,不能据此推断相对基线增益。

研究意义

论文把直播推荐从“用户此刻是否点击”推进到“当前内容是否处于高光期、未来一段时间是否仍值得观看”。这直接对应直播内容实时变化和礼物、购买等长时延行为之间的矛盾。对学术界而言,它提出了面向未来信息生成的直播排序视角;对工业界而言,它展示了如何在现有两阶段推荐架构中以可部署的辅助任务增强排序,而无需重建候选召回系统。

技术贡献

核心技术是将自监督未来预测嵌入排序模型:统计序列通过ReVIN归一化、iTransformer编码并以MSE预测未来5个时间步;商品序列通过多级Embedding和朴素Transformer,以Softmax预测5000类三级类目。预测特征经flatten后输入排序器,并使用stop-gradient隔离下游排序损失,降低联合训练对生成器的干扰。整体兼容TensorFlow工业数据流、离线训练和在线推理。

新颖性

作者称这是首个从未来信息预测角度增强直播推荐的工作。与DIN、ETA等主要建模用户兴趣的排序方法不同,LiveForesighter显式预测直播侧未来行为趋势和未来商品类别;与一般静态短视频推荐相比,它把时间状态、高光窗口和作者选品连续性纳入统一排序特征。

局限性

  • 公开材料缺少完整实验表格、数据集规模、基线数值和显著性检验,因此难以独立复现论文声称的业务增益。
  • 商品分支只预测下一个三级类目而非具体商品,可能无法表达品牌、价格、库存和突发选品变化。
  • 统计预测假设近期行为趋势具有延续性;突发事件、主播转场或流量干预可能使未来预测失效。

未来方向

未来可扩展到礼物、长观看、购买等多任务目标,预测更长时间跨度及多个未来商品;结合视频、音频、文本和主播状态理解,处理突发内容变化。还应公开更完整的跨服务评测、校准指标、延迟与成本分析,并研究不确定性估计、因果分发实验及公平性问题。

AI 总览摘要

直播推荐比短视频推荐更难:同一直播间的内容会随时间变化,而送礼和购买通常要求用户观看超过10分钟。传统排序模型能够估计当前点击意愿,却不一定知道此刻是不是节目高潮,也无法判断用户留下后是否仍会看到感兴趣的内容。

快手团队提出LiveForesighter,将“未来”作为排序信号。第一条分支每30秒记录曝光、观众、点击、评论、点赞、订单、GMV和礼物价值等直播统计,用ReVIN与iTransformer预测未来5步行为趋势,从而发现高光时刻及其持续性。第二条分支读取历史商品、一级至三级类目,用Transformer预测下一个三级类目,利用主播相对稳定的选品风格判断未来内容是否匹配用户兴趣。两类预测结果经stop-gradient处理后输入多任务排序器,联合CTR、长观看和购买等目标训练。

论文称系统已于2024年7月起部署到快手多个服务,覆盖约4亿日活用户,并通过离线、在线和消融实验验证有效;但提供的材料没有列出具体提升百分比、数据集规模或实验表格,因此不能严谨报告CTR、LVTR或CVR增益。其价值在于把直播推荐从瞬时点击预测转向实时状态与未来内容的联合判断,为大规模平台提供了相对轻量、可接入现有两阶段架构的工程范式。

深度分析

研究背景

快手、TikTok等平台通常采用“候选生成—排序”两阶段架构。DIN、ETA等方法擅长建模用户历史兴趣,但直播不是静态内容:主播可能聊天、PK、唱歌、跳舞或依次售卖商品。用户行为也存在长时延,点击只代表当下兴趣,送礼、长观看和购买则依赖未来十分钟以上的内容质量。

核心问题

系统需要同时回答两个问题:某直播此刻是否处于适合分发的高光状态?用户继续观看后,未来内容是否仍符合兴趣?难点包括行为统计的强噪声与非平稳性、不同直播类型的高光定义不同,以及商品、类目和节奏随主播风格变化。

核心创新

创新一是用正向行为上升趋势识别高光,而非依赖固定规则;创新二是用历史商品序列预测未来三级类目,将作者的连续选品风格纳入排序;创新三是把预测任务作为辅助生成模块接入现有多任务排序器,兼顾表达能力与线上部署成本。

方法详解

  • �� 统计分支:每30秒形成N×T序列S,包含曝光、观众、GMV、订单、礼物、评论、点赞及商品点击等信号。
  • �� 训练阶段:ReVIN归一化S1:T−5,iTransformer编码,预测后5步,并以MSE优化LStatistic。
  • �� 在线阶段:用最近窗口预测S_T:T+5,将未来趋势和编码表示拼接为Vlivefore。
  • �� 商品分支:输入[p_i,c1_i,c2_i,c3_i],Embedding矩阵维度为|p|×D、50×D、1000×D和5000×D。
  • �� 以Transformer预测下一商品三级类目,使用Softmax损失;预测分布与序列表示共同增强Rank模型。

实验设计

论文在快手两个直播服务开展线下与线上实验,研究RQ1至RQ5覆盖跨服务效果、业务收益、生成精度、统计序列参数及分发变化。训练数据由数据流引擎组装用户与直播特征、标签、统计序列和商品序列,模型以TensorFlow实现。排序目标包括CTR、LVTR、CVR等二元交叉熵任务;公开片段未给出数据集名称、样本规模、基线表和超参数全貌。

结果分析

论文明确报告系统自2024年7月起部署,覆盖约4亿日活用户,并称离线、在线和消融实验支持其有效性。可核实的技术结果包括:统计分支预测未来5个30秒步长;商品分支预测5000类三级类目;系统可同时利用当前内容表示和未来生成信息。由于实验数值未出现在给定全文片段中,不能补写具体百分比或显著性结论。

应用场景

适用于才艺直播、PK、带货直播和其他内容节奏明显变化的场景。平台需能实时汇总30秒行为统计,并取得历史商品及类目序列。排序系统可以保留现有召回流程,仅把未来趋势、预测类目和Transformer编码作为新增特征,因而适合大规模在线服务。

局限与展望

方法依赖近期行为和作者风格的延续性,突发新闻、主播临时改播、库存变化或平台流量干预会削弱预测可靠性。预测未来五步和下一个类目也不能完整描述长周期内容。当前公开版本缺少完整数据与结果,复现性受限;后续应加入多模态内容、预测不确定性、长视野目标以及成本和延迟评估。

通俗解读 非专业人士也能看懂

把直播推荐想成商场里的智能导购。普通导购只看顾客刚刚点头或停留,就决定把哪家店推给他;但直播更像一场持续变化的商演:现在可能只是聊天,下一分钟却突然唱歌、PK或开始秒杀。真正好的导购不仅要看现场人群是否越来越兴奋,还要猜接下来会发生什么。

LiveForesighter做了两本“预测账”。第一本每30秒记录进店人数、点赞、评论、下单和送礼等变化,判断人气是不是正在上升,并估计接下来几段时间是否还会保持热度。第二本记录带货主播已经卖过什么,例如外套之后常卖毛衣,粉底之后可能介绍遮瑕。系统不必准确猜出每个具体商品,也能先判断下一类商品。

最后,推荐系统把“现在热不热”和“接下来合不合适”合在一起排序。论文称它已在快手多个服务上线,覆盖约4亿日活用户;但给出的材料没有披露具体提升百分比。因此,它更像一种经过大规模部署验证的设计思路,而不是一张包含全部数字的公开成绩单。

简单解释 像给14岁少年讲一样

想象你在看一个直播游戏频道。主播现在可能只是聊天,但过一会儿要开始精彩挑战;如果推荐系统只看你刚才有没有点进去,它可能错过最刺激的时刻,也不知道你继续看会不会喜欢。

LiveForesighter像一个会“看趋势”的小助手。它每隔30秒观察直播间人数、点赞、评论、下单或送礼有没有变多。如果这些数字正在上升,它会猜主播可能正接近高光时刻,并预测热度还能持续多久。

对于带货直播,它还会记住主播之前卖过的东西。比如先卖外套,再卖毛衣,接着可能出现裤子;美妆主播介绍粉底后,也许会介绍遮瑕或定妆粉。系统不一定猜中具体品牌,但能猜到下一类内容。

这样,推荐系统不只问“你现在想不想点开”,还会问“你留下来以后会不会继续喜欢”。论文说它已经服务快手多个场景、覆盖约4亿日活用户。不过,提供的文章没有展示具体分数,所以我们不能说它提高了多少百分比。

术语表

LiveForesighter(直播前瞻器)

一种为直播推荐生成未来行为和内容信息的模型。它将统计趋势预测与商品序列预测接入排序系统。

论文提出的核心方法。

iTransformer(反转Transformer)

用于时间序列建模的Transformer变体。论文用它编码统计序列并预测未来5步。

统计序列分支。

ReVIN(可逆实例归一化)

先按实例归一化时间序列,预测后再恢复原尺度的方法。它帮助模型处理不同直播间量级差异。

统计趋势预测前后使用。

高光时刻

直播中用户正向行为显著上升的时间段。其含义可因才艺、PK或带货直播而不同。

由行为趋势自适应识别。

Stop-gradient(停止梯度)

让生成结果作为下游特征使用,但不让排序损失反向改变生成模块。这样可减少任务间干扰。

未来统计和商品特征接入排序器时使用。

LVTR(长观看率)

衡量用户是否持续观看直播的概率指标。它比单纯点击更接近长时延价值行为。

基础多任务排序目标之一。

开放问题 这项研究留下的未解疑问

  • 1 完整实验数字缺失:公开片段没有数据集规模、基线、CTR/LVTR/CVR提升或显著性检验,外部研究者难以复现和比较。
  • 2 未来预测的可靠边界仍不清楚:突发事件、主播转场和平台干预会否系统性造成预测偏差,需要校准与不确定性分析。
  • 3 论文主要预测五个时间步和下一个三级类目,长周期、多商品及多模态未来内容仍有待验证。

应用场景

近期应用

带货直播高光分发

平台可每30秒汇总观众、点击、订单、GMV和商品互动信号,用统计分支识别秒杀或上架前的热度上升,再把预测趋势加入排序,减少在平淡时段过度曝光。

才艺与PK直播排序

系统可利用点赞、评论、观众和礼物价值的变化,发现唱歌、跳舞或PK等高光阶段,并结合未来热度预测,把更可能持续吸引用户的直播优先分发。

远期愿景

多模态直播前瞻推荐

未来可融合视频、音频、字幕、商品库存和主播计划,预测更长时间范围的内容与用户价值,并用不确定性估计避免对突发变化过度自信。

原文摘要

Live-streaming, as a new-generation media to connect users and authors, has attracted a lot of attention and experienced rapid growth in recent years. Compared with the content-static short-video recommendation, the live-streaming recommendation faces more challenges in giving our users a satisfactory experience: (1) Live-streaming content is dynamically ever-changing along time. (2) valuable behaviors (e.g., send digital-gift, buy products) always require users to watch for a long-time (>10 min). Combining the two attributes, here raising a challenging question for live-streaming recommendation: How to discover the live-streamings that the content user is interested in at the current moment, and further a period in the future?

cs.IR