OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search
OneSearch:首个工业级电商搜索生成框架,提升CTR 1.67%,降低运营成本75.40%。
核心发现
方法论
OneSearch框架通过关键词增强层次量化编码(KHQE)、多视角用户行为序列注入策略和偏好感知奖励系统(PARS)实现电商搜索的端到端生成。KHQE模块保留层次语义和独特属性,确保查询与商品的强相关性。多视角策略构建行为驱动的用户ID,结合短期和长期序列以全面建模用户偏好。PARS通过多阶段监督微调和自适应奖励加权排序捕捉细粒度用户偏好。
关键结果
- OneSearch在大规模行业数据集上的离线评估显示其在高质量召回和排序方面的优越性能。在线A/B测试表明,在相同曝光位置下,OneSearch实现了显著的提升:商品CTR增加1.67%,买家增加2.40%,订单量增加3.22%。
- 此外,OneSearch将运营支出减少了75.40%,模型FLOPs利用率从3.26%提高到27.32%。
- 在快手的多个搜索场景中成功部署,每日生成数千万PV。
研究意义
OneSearch的意义在于突破传统多阶段级联架构的性能瓶颈,通过端到端生成框架统一搜索流程,减少计算碎片化和目标冲突问题。其在工业界的成功部署展示了生成检索在电商搜索中的巨大潜力,为未来智能搜索系统的开发提供了新方向。
技术贡献
OneSearch通过引入关键词增强的层次量化编码和多视角用户行为建模,解决了传统方法中信息丢失和用户意图捕捉不准确的问题。其偏好感知奖励系统通过多阶段微调和奖励加权优化,提升了个性化排序能力,显著提高了模型的效率和效果。
新颖性
OneSearch是首个在工业中部署的端到端生成框架,创新性地将生成检索应用于电商搜索。相比传统方法,其通过统一的生成模型消除了多阶段过滤的限制,显著提高了搜索的相关性和效率。
局限性
- OneSearch在处理冷启动查询和长尾会话时仍存在性能限制,因为这些场景下的用户意图和商品信息较难捕捉。
- 系统在处理冗长且噪声较多的商品信息时可能会受到误导,影响表示模型的准确性。
未来方向
未来的研究方向包括优化OneSearch在冷启动和长尾场景下的表现,进一步提升模型对用户意图的捕捉能力。此外,探索将生成检索应用于更多的电商场景,扩展其适用性和影响力。
AI 总览摘要
传统电商搜索系统采用多阶段级联架构,尽管在计算效率和业务转化之间取得了平衡,但由于计算碎片化和优化目标冲突,限制了其性能上限。为了解决这些问题,研究者提出了OneSearch,这是首个工业部署的端到端生成框架。该框架通过关键词增强的层次量化编码、多视角用户行为序列注入策略和偏好感知奖励系统,实现了对用户偏好的细粒度捕捉。
OneSearch在大规模行业数据集上的离线评估显示出其在高质量召回和排序方面的优越性能,在线A/B测试进一步证实了其在相同曝光位置下的显著提升:商品CTR增加1.67%,买家增加2.40%,订单量增加3.22%。此外,OneSearch将运营支出减少了75.40%,模型FLOPs利用率从3.26%提高到27.32%。
该系统已成功部署于快手的多个搜索场景,每日为数百万用户提供服务,生成数千万PV。OneSearch的成功展示了生成检索在电商搜索中的巨大潜力,为未来智能搜索系统的开发提供了新方向。尽管如此,OneSearch在处理冷启动查询和长尾会话时仍存在性能限制,未来的研究将致力于优化这些场景下的表现。
深度分析
研究背景
电商搜索系统的演变经历了从基于关键词的简单匹配到复杂的多阶段级联架构。传统方法如EBR、DCN等在召回和排序阶段取得了显著进展,但仍面临计算碎片化和目标冲突的问题。近年来,生成检索(GR)作为一种新兴的检索范式,逐渐受到关注,其通过将大规模检索视为序列生成任务,展现出优于传统方法的潜力。
核心问题
传统电商搜索系统采用多阶段级联架构,尽管在计算效率和业务转化之间取得了平衡,但由于计算碎片化和优化目标冲突,限制了其性能上限。此外,这些系统在处理冷启动查询和长尾会话时表现不佳,难以准确捕捉用户意图。
核心创新
OneSearch通过三个核心创新解决了传统问题:1) 关键词增强的层次量化编码(KHQE)模块,保留层次语义和独特属性,确保查询与商品的强相关性;2) 多视角用户行为序列注入策略,构建行为驱动的用户ID,结合短期和长期序列以全面建模用户偏好;3) 偏好感知奖励系统(PARS),通过多阶段监督微调和自适应奖励加权排序捕捉细粒度用户偏好。
方法详解
- �� 关键词增强的层次量化编码(KHQE):通过关键词增强的语义协同编码,突出商品的核心属性。使用RQ-Kmeans进行层次特征编码,OPQ进行每个商品的独特特征量化。• 多视角用户行为序列注入策略:引入加权衰减点击行为序列到用户ID中,构建独特的用户表示,然后在提示中显式地结合短行为序列以学习近期用户偏好,并隐式地包含长行为序列以建模用户画像。• 偏好感知奖励系统(PARS):设计多阶段监督微调过程进行语义对齐和个性化,然后通过自适应奖励系统利用层次用户行为信号和列表偏好优化。
实验设计
实验在大规模行业数据集上进行,使用的基准包括传统的多阶段级联架构。关键指标包括商品CTR、买家数量和订单量。实验还涉及消融研究,以评估各个组件的贡献。OneSearch在离线评估中表现出色,在线A/B测试进一步验证了其在实际应用中的有效性。
结果分析
OneSearch在离线评估中表现优异,在线A/B测试显示其在相同曝光位置下实现了显著提升:商品CTR增加1.67%,买家增加2.40%,订单量增加3.22%。此外,OneSearch将运营支出减少了75.40%,模型FLOPs利用率从3.26%提高到27.32%。这些结果表明OneSearch在高质量召回和排序方面的优越性能。
应用场景
OneSearch已成功部署于快手的多个搜索场景,每日为数百万用户提供服务,生成数千万PV。其在电商搜索中的应用展示了生成检索的巨大潜力,为未来智能搜索系统的开发提供了新方向。
局限与展望
OneSearch在处理冷启动查询和长尾会话时仍存在性能限制,因为这些场景下的用户意图和商品信息较难捕捉。此外,系统在处理冗长且噪声较多的商品信息时可能会受到误导,影响表示模型的准确性。未来的研究将致力于优化这些场景下的表现。
通俗解读 非专业人士也能看懂
想象你在一个巨大的图书馆里寻找一本书。传统的搜索方式就像是先在整个图书馆里找出一堆可能的书,然后再逐步缩小范围,最终找到你想要的书。这种方法虽然有效,但需要花费很多时间和精力。而OneSearch就像是一个聪明的图书馆员,他不仅知道每本书的内容,还能根据你的描述直接找到最合适的书。这种方法不仅更快,而且更准确,因为它能理解你的需求,并在第一时间给出最相关的结果。
简单解释 像给14岁少年讲一样
想象一下你在玩一个超级复杂的寻宝游戏。传统的方法就像是你必须先找到一大堆可能的线索,然后再慢慢筛选出正确的线索,最后找到宝藏。而OneSearch就像是一个超级聪明的助手,他能根据你的描述直接带你找到宝藏。这就像是拥有一个能读懂你心思的朋友,他总是能在你需要的时候给你最好的建议!是不是很酷?
术语表
生成检索 (Generative Retrieval)
一种将大规模检索视为序列生成任务的新兴检索范式,优于传统的基于ANN的方法。
OneSearch使用生成检索来统一搜索流程。
层次量化编码 (Hierarchical Quantization Encoding)
通过关键词增强的语义协同编码,突出商品的核心属性,确保查询与商品的强相关性。
KHQE模块是OneSearch的核心创新之一。
偏好感知奖励系统 (Preference-Aware Reward System)
通过多阶段监督微调和自适应奖励加权排序捕捉细粒度用户偏好的系统。
PARS用于提升OneSearch的个性化排序能力。
多视角用户行为序列注入 (Multi-view User Behavior Sequence Injection)
通过引入加权衰减点击行为序列到用户ID中,构建独特的用户表示。
该策略用于全面建模用户偏好。
快手 (Kuaishou)
中国领先的短视频和直播平台,OneSearch在其多个搜索场景中成功部署。
OneSearch在快手的成功部署展示了其在电商搜索中的潜力。
开放问题 这项研究留下的未解疑问
- 1 如何优化OneSearch在冷启动和长尾场景下的表现?现有方法难以准确捕捉这些场景下的用户意图。
- 2 如何进一步提升OneSearch对冗长且噪声较多的商品信息的处理能力?
应用场景
近期应用
电商平台搜索优化
OneSearch可用于优化电商平台的搜索功能,提高用户的搜索体验和转化率。
个性化推荐系统
通过多视角用户行为建模,OneSearch可用于提升个性化推荐系统的准确性。
远期愿景
智能搜索系统
OneSearch的成功展示了生成检索在智能搜索系统中的潜力,未来可应用于更多领域。
原文摘要
Traditional e-commerce search systems employ multi-stage cascading architectures (MCA) that progressively filter items through recall, pre-ranking, and ranking stages. While effective at balancing computational efficiency with business conversion, these systems suffer from fragmented computation and optimization objective collisions across stages, which ultimately limit their performance ceiling. To address these, we propose \textbf{OneSearch}, the first industrial-deployed end-to-end generative framework for e-commerce search. This framework introduces three key innovations: (1) a Keyword-enhanced Hierarchical Quantization Encoding (KHQE) module, to preserve both hierarchical semantics and distinctive item attributes while maintaining strong query-item relevance constraints; (2) a multi-view user behavior sequence injection strategy that constructs behavior-driven user IDs and incorporates both explicit short-term and implicit long-term sequences to model user preferences comprehensively; and (3) a Preference-Aware Reward System (PARS) featuring multi-stage supervised fine-tuning and adaptive reward-weighted ranking to capture fine-grained user preferences. Extensive offline evaluations on large-scale industry datasets demonstrate OneSearch's superior performance for high-quality recall and ranking. The rigorous online A/B tests confirm its ability to enhance relevance in the same exposure position, achieving statistically significant improvements: +1.67% item CTR, +2.40% buyer, and +3.22% order volume. Furthermore, OneSearch reduces operational expenditure by 75.40% and improves Model FLOPs Utilization from 3.26% to 27.32%. The system has been successfully deployed across multiple search scenarios in Kuaishou, serving millions of users, generating tens of millions of PVs daily.