核心发现
方法论
SPEAR通过双嵌入骨干、乘法门控聚合器和动态重写选择器实现个性化的端到端自适应重写和检索。双嵌入骨干通过辅助损失和梯度隔离保护召回侧语义,乘法门控聚合器消除通用词捷径,动态重写选择器根据请求生成重写权重和用户查询条件的缩放和偏置项。
关键结果
- 在100K工业搜索会话中,SPEAR将重写语义相似度@10提高了18.2%,点击召回@10提高了99.5%。
- 在线A/B测试中,查询视图CTR提高了0.259%,平均阅读深度提高了0.733%。
- SPEAR系统已全面部署于得物社区搜索平台,代码开源。
研究意义
SPEAR通过在重写和检索之间建立直接的监督关系,解决了传统系统中重写质量和检索效果的结构性不匹配问题。其方法不仅提高了语义相似度,还显著提升了用户参与度,具有重要的学术和工业意义。
技术贡献
SPEAR引入了双嵌入隔离和乘法门控,避免了CTR驱动的语义退化,并通过动态重写选择器实现了重写选择的端任务监督。这些技术突破使得SPEAR在个性化检索中取得了显著的性能提升。
新颖性
SPEAR首次在个性化检索中引入了双嵌入隔离和乘法门控,解决了通用词主导效应问题。与现有路径模型相比,SPEAR在保持语义忠实度的同时实现了更高的用户参与度。
局限性
- SPEAR在处理长尾查询时可能表现不佳,因为这些查询的重写候选较少。
- 系统对用户行为数据的依赖可能导致偏差。
未来方向
未来的研究可以探索如何在没有大量用户行为数据的情况下提升SPEAR的性能,以及如何进一步优化重写选择器以处理更复杂的查询场景。
AI 总览摘要
在电子商务搜索中,查询重写是连接用户意图与检索效果的关键。然而,现有系统通常将重写质量和检索效果分开优化,导致结构性不匹配。SPEAR通过引入选择感知的个性化端到端自适应重写和检索框架,解决了这一问题。其核心技术包括双嵌入骨干、乘法门控聚合器和动态重写选择器,确保重写不仅忠实于用户意图,还能有效提升检索效果。
实验结果显示,SPEAR在离线评估中显著提高了重写语义相似度和点击召回率。在在线测试中,用户参与度也得到了显著提升。SPEAR的部署证明了其在实际应用中的价值,为社区搜索平台带来了更深的用户参与和更高的检索精度。
尽管SPEAR在许多方面表现出色,但其在处理长尾查询和依赖用户行为数据方面仍存在局限。未来的研究方向包括优化重写选择器以适应更复杂的查询场景,以及在数据稀缺的情况下提升系统性能。
深度分析
研究背景
随着电子商务的快速发展,查询重写成为提升搜索引擎性能的关键技术。传统的重写方法通常依赖于简单的同义词扩展,而现代系统则发展为多路径召回机制。然而,这些系统在重写质量和检索效果之间存在结构性不匹配,导致用户意图的偏离。
核心问题
现有的路径模型在个性化推荐中表现优异,但在搜索中却容易偏向通用重写,导致语义偏离。如何在保持用户意图忠实度的同时提升检索效果,是一个亟待解决的问题。
核心创新
SPEAR通过以下创新解决了上述问题:1) 双嵌入隔离,保护语义结构;2) 乘法门控,消除通用词捷径;3) 动态重写选择器,实现请求特定的重写权重和校准。
方法详解
- �� 双嵌入骨干:通过辅助损失和梯度隔离保护召回侧语义。
- �� 乘法门控聚合器:确保重写仅在高置信度和高相关性时得分高。
- �� 动态重写选择器:生成请求特定的重写权重和校准项。
实验设计
实验在100K工业搜索会话中进行,使用语义相似度@10和点击召回@10作为主要指标。基线系统为现有生产系统,实验结果显示SPEAR在所有指标上均有显著提升。
结果分析
SPEAR在离线评估中将重写语义相似度@10提高了18.2%,点击召回@10提高了99.5%。在线测试中,查询视图CTR提高了0.259%,平均阅读深度提高了0.733%。
应用场景
SPEAR已在得物社区搜索平台全面部署,显著提升了用户参与度和检索精度。其方法适用于需要高精度和个性化检索的场景。
局限与展望
SPEAR在长尾查询和数据稀缺情况下的性能仍需提升。未来的研究可以探索如何在这些场景下优化系统性能。
通俗解读 非专业人士也能看懂
想象你在一个超市购物,SPEAR就像一个聪明的导购员。它不仅能根据你的购物清单推荐商品,还能根据你的购物习惯和偏好进行调整。比如,你想买一瓶牛奶,SPEAR会根据你的品牌偏好和价格敏感度推荐最合适的产品,而不是简单地推荐最畅销的品牌。这样,你不仅能买到符合你需求的商品,还能节省时间和精力。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏,SPEAR就像一个超级助手。你需要找到隐藏在地图上的宝藏,SPEAR会根据你的游戏风格和偏好给出建议。比如,你喜欢冒险,它会推荐你去探索那些神秘的地方;如果你喜欢收集,它会告诉你哪里有稀有的道具。这样,你不仅能更快地找到宝藏,还能享受游戏的乐趣!
术语表
双嵌入骨干 (Dual-Embedding Backbone)
一种用于保护召回侧语义结构的技术,通过辅助损失和梯度隔离实现。
在SPEAR中用于避免CTR驱动的语义退化。
乘法门控聚合器 (Multiplicative Gating Aggregator)
确保重写仅在高置信度和高相关性时得分高的机制。
用于消除通用词捷径。
动态重写选择器 (Dynamic Rewrite Selector)
根据请求生成重写权重和校准项的组件。
在SPEAR中用于实现请求特定的重写选择。
语义相似度 (Semantic Similarity)
衡量重写与原始查询之间语义一致性的指标。
用于评估SPEAR的重写效果。
点击召回 (Click Recall)
衡量用户点击行为与检索结果相关性的指标。
用于评估SPEAR的检索效果。
开放问题 这项研究留下的未解疑问
- 1 如何在数据稀缺的情况下提升SPEAR的性能?现有方法对用户行为数据的依赖可能导致偏差。
- 2 如何在处理长尾查询时优化重写选择器?这些查询的重写候选较少。
应用场景
近期应用
电子商务搜索优化
SPEAR可用于提升电商平台的搜索精度和用户体验,适用于需要高精度检索的场景。
远期愿景
智能推荐系统
SPEAR的技术可用于开发更智能的推荐系统,提升个性化服务的质量和用户满意度。
原文摘要
Query reformulation bridges user intent and retrieval in e-commerce search, yet production systems optimize rewrite quality and retrieval effectiveness separately, leaving the two stages structurally misaligned. Path-based architectures unify them end-to-end but were designed for personalization, where relevance is not an explicit constraint-search additionally requires the rewrite to remain faithful to the user's stated query intent. Transplanted directly, these models learn a shortcut we term the generic-word dominance effect: they favor generic rewrites that score well on paths but drift from query intent. To address this, we propose SPEAR (Selection-aware Personalized End-to-end Adaptive Rewriting and Retrieval), which integrates three components that each target one failure mode: (1) a dual-embedding backbone with auxiliary loss and gradient isolation that shields recall-side semantics from being eroded by CTR-driven ranking signals; (2) a multiplicative gating aggregator that lets a rewrite score high only when both its confidence and item relevance are strong, eliminating the generic-word shortcut; (3) a Dynamic Rewrite Selector that jointly generates request-specific rewrite weights and user-query-conditioned scale and bias terms, allowing both rewrite preference and relevance calibration to adapt to each request. Offline evaluation on 100K held-out industrial search sessions shows that the proposed framework improves rewrite semantic similarity@10 by +18.2 and click recall@10 by +99.5 over the production baseline. In online A/B testing, SPEAR achieves +0.259 in query-view CTR and +0.733 in average reading depth, confirming that improved rewrite selection translates into stronger retrieval and deeper user engagement. The proposed SPEAR system has been fully deployed in Dewu's community search platform since 2025. Our code is available at https://github.com/mallocagi1-cell/spear.