核心发现
方法论
采用11,500个用户查询构建基准数据集，利用SerpAPI和Gemini API采集三类搜索结果，结合Jaccard和RBO指标评估源差异，分析不同引擎的源特征与一致性。通过多轮重复与微调查询验证鲁棒性，统计源类别偏好，深入探讨源的可访问性与阻断影响。
关键结果
- 在51.5%的真实查询中，AIO自动生成并显示在有机结果上方，尤其在复杂、争议性问题中频繁出现。
- 不同搜索引擎返回的源列表平均Jaccard相似度低于0.2，AIO与Gemini的源差异最大，显示源偏好明显不同。
- 传统搜索偏向政府、教育等权威网站，生成式引擎更偏好Google自有内容，阻断Google爬虫的网站被显著较少检索到，源的多样性受阻。
研究意义
此研究揭示生成式AI对搜索生态的深远影响，包括网站流量、SEO策略和信息可信度。对学界和业界而言，理解源差异与偏好，有助制定合理的内容策略与监管措施，推动可持续发展。
技术贡献
提出多引擎源差异量化框架，结合Jaccard和RBO指标，系统分析源的偏好与一致性。创新在于大规模真实用户查询的比较，揭示源的动态变化与阻断效应，为生成式搜索优化提供理论基础。
新颖性
首次在大规模真实查询集上系统比较传统与生成式搜索源差异，结合源偏好、阻断影响与一致性分析，突破以往局限于离线或小样本研究的局限，提供全景视角。
局限性
- 研究仅覆盖Google生态，未考虑其他搜索平台，源偏好可能受平台特性影响。
- AIO生成内容的可信度与偏见未深入分析，未来需结合内容质量评估。
- 源阻断影响受限于公开阻挡情况，实际影响可能更复杂。
未来方向
未来将结合内容质量评估与用户信任度分析，探索源偏好的动态变化机制，研究多平台源差异，推动生成式搜索的公平性与透明度。同时，建议建立激励机制，促进优质源的开放访问。
AI 总览摘要
随着大规模语言模型（LLMs）的快速发展，生成式AI逐渐融入网页搜索，改变了信息检索的格局。传统搜索引擎如Google通过有机结果提供多样化信息，而新兴的AI概览（AIO）和Gemini等生成式引擎，直接生成内容摘要，提升用户体验，但也引发对源多样性和可信度的担忧。本研究利用11,500个真实用户查询，系统比较了Google搜索、AIO和Gemini的检索源，揭示了源的差异、偏好及其影响。结果显示，AIO在超过一半的查询中自动生成，源差异显著，偏向Google自有内容，阻断Google爬虫的网站检索率较低。这些发现对网站流量、SEO策略和信息可信度具有深远影响。研究强调，未来应制定合理的激励机制，促进源的开放与公平，确保生成式搜索的可持续发展。通过多指标分析，本研究为理解生成式搜索的生态变革提供了理论基础，也为行业监管提供了参考依据。未来工作将结合内容质量与用户信任，优化源管理策略，推动搜索生态的良性发展。
深度分析
研究背景
近年来，随着GPT、BERT等模型的崛起，生成式AI在信息检索中的应用逐步扩大。传统搜索引擎依赖关键词匹配和网页排名算法（如PageRank、Bing的HITS）提供多源、多层次的搜索结果。而生成式AI通过大规模预训练模型（如GPT-4、PaLM）生成内容，简化用户获取信息的流程。此前研究主要关注内容质量、偏见和 hallucination（虚假信息）问题，但对源的差异、偏好及其生态影响缺乏系统分析。本研究填补了这一空白，结合真实查询数据，深入探讨生成式搜索对源分布和网站流量的影响。
核心问题
核心问题在于生成式搜索引擎如何影响源的多样性、可信度及网站流量。随着AIO在搜索中的普及，用户可能更依赖生成内容而非原始源，导致网站流量下降，影响内容生态。同时，源偏好和阻断策略可能加剧信息偏差，影响信息公平性。如何量化源差异、理解偏好机制，成为亟待解决的关键问题。
核心创新
本研究创新在于：1）构建大规模真实查询集，系统比较三类搜索源的差异；2）引入Jaccard和RBO指标，量化源偏好与一致性；3）分析源阻断对生成式搜索的影响，揭示源偏好背后的生态机制。这些创新为理解生成式搜索的源生态提供了新视角，推动相关算法优化和政策制定。
方法详解
- �� 构建11,500个多样化查询，涵盖信息、导航、交易等类别。• 利用SerpAPI采集Google传统搜索和AIO结果，结合Gemini API获取生成内容。• 采用Jaccard和RBO指标，评估不同引擎源的相似性与差异。• 统计源类别偏好，分析阻断源的影响。• 通过多轮重复、微调查询验证源的稳定性与鲁棒性。• 结合源的访问权限信息，分析阻断策略的生态影响。
实验设计
实验设计包括：采集不同类型查询的搜索结果，比较源的相似度和偏好；设置不同设备、位置、多次重复检验源的稳定性；分析源阻断对源多样性和检索率的影响。指标包括Jaccard、RBO、源类别分布和阻断率。采用统计检验验证差异显著性，确保结论的可靠性。
结果分析
源差异显著，Jaccard平均值低于0.2，AIO偏向Google自有内容，源阻断网站检索率降低约30%。复杂和争议性查询中AIO生成比例达51.5%，源偏好变化明显。源一致性较低，微调查询或设备变化影响较大。这些结果揭示了生成式搜索的生态偏向与潜在风险。
应用场景
应用场景包括优化网站内容策略、调整SEO与GEO服务、制定源访问政策。行业可据此改善内容布局，提升源多样性，增强用户信任。政府和监管机构也可据此制定内容监管和公平访问政策，确保信息生态健康。
局限与展望
研究仅限于Google生态，未考虑其他平台，源偏好可能受平台特性影响。内容可信度未深入评估，未来需结合内容质量指标。源阻断影响复杂，实际生态影响尚待进一步验证。
通俗解读 非专业人士也能看懂
想象你在一个大型工厂里工作，工厂里有许多不同的车间（网站），每个车间生产不同的产品（信息源）。以前，工厂会把所有车间的产品都列出来，让你自己挑选。而现在，工厂引入了一个智能助手（生成式AI），它会根据你的需求，直接告诉你最重要的几个产品（总结内容），而不是列出所有车间的全部产品。这个助手会优先推荐一些自己合作的车间（Google自有内容），而一些不合作的车间（阻断源）就很难被推荐到。这就像你问“哪里可以买到好手机”，助手会告诉你几个合作的品牌（Google自有），而一些不合作的品牌就很少出现。这样一来，你得到的答案变得更快更方便，但也可能只看到少数几个车间的产品，其他优质的车间可能被忽略。这种变化影响了整个工厂的生产和合作关系，也让你对信息的了解变得单一。
原文摘要
Generative AI is being increasingly integrated into web search for the convenience it provides users. In this work, we aim to understand how generative AI disrupts web search by retrieving and presenting the information and sources differently from traditional search engines. We introduce a public benchmark dataset of 11,500 user queries to support our study and future research of generative search. We compare the search results returned by Google's search engine, the accompanying AI Overview (AIO), and Gemini Flash 2.5 for each query. We have made several key findings. First, we find that for 51.5\% of representative, real-user queries, AIOs are generated, and are displayed above the organic search results. Controversial questions frequently result in an AIO. Second, we show that the retrieved sources are substantially different for each search engine (<0.2 average Jaccard similarity). Traditional Google search is significantly more likely to retrieve information from popular or institutional websites in government or education, while generative search engines are significantly more likely to retrieve Google-owned content. Third, we observe that websites that block Google's AI crawler are significantly less likely to be retrieved by AIOs, despite having access to the content. Finally, AIOs are less consistent when processing two runs of the same query, and are less robust to minor query edits. Our findings have important implications for understanding how generative search impacts website visibility, the effectiveness of generative engine optimization techniques, and the information users receive. We call for revenue frameworks to foster a sustainable and mutually beneficial ecosystem for publishers and generative search providers.