核心发现
方法论
本研究构建了SealQA基准，包含SEAL-0、SEAL-Hard和LongSeal三类，模拟真实搜索环境中的噪声、冲突和长文本推理。每个问题由多轮专家评审，确保难度和多样性。模型评估采用特定算法（如GPT-4.1、DeepSeek-R1-671B）结合搜索工具，分析其在噪声干扰下的表现。通过多轮试验，统计模型在不同场景下的准确率，揭示其推理和信息筛选的局限。
关键结果
- 在SEAL-0中，GPT-4.1等最先进模型最高准确率仅为43.2%，远低于人类水平。即使引入搜索工具，表现也未显著提升，说明模型对噪声极为敏感。
- LongSeal测试长文本多文档推理时，模型在大量干扰信息中难以识别正确证据，表现普遍低于20%。增加推理计算量未能带来可靠提升，反而可能导致性能下降。
- 模型在多语言、多时间变化信息和虚假前提检测方面表现不足，显示当前技术在复杂真实场景中的鲁棒性仍需突破。
研究意义
该研究揭示了现有搜索增强大模型在面对真实世界中噪声、冲突信息时的严重不足，强调了推理和信息筛选的核心难题。为未来模型设计提供了严峻的挑战，推动行业关注模型鲁棒性和推理能力的提升。该基准的发布，有望引导学界开发更具抗干扰能力的模型，改善实际应用中的信息可靠性，特别是在新闻、科研和决策支持等关键领域。
技术贡献
本研究提出了系统化的评估框架，结合多样化的噪声模拟和长文本推理任务，突破了传统基准的局限。引入多轮专家审查机制，确保问题难度和多样性。通过对多模型、多算法的系统评测，揭示了模型在噪声环境下的脆弱性，为模型鲁棒性提升提供了具体的技术路径。特别是在多文档检索与推理融合方面，提出了新的挑战场景。
新颖性
SealQA首次系统性模拟真实搜索环境中的噪声与冲突，设计了多场景、多难度的推理任务，结合专家评审确保高质量难题。与现有基准如MMLU、GPQA不同，强调模型在复杂、多源、多变信息中的推理能力，突出其在实际应用中的瓶颈。引入长文本多文档推理，拓展了模型评估的深度和广度。
局限性
- 目前基准规模较小，难以覆盖所有真实场景中的复杂情况，未来需扩大数据集规模和多样性。
- 模型评估主要集中在特定算法和模型架构，尚未充分验证新兴技术（如多模态、多任务学习）在此场景中的表现。
- 对模型的推理能力和鲁棒性提出了挑战，但未深入分析模型内部机制的原因，未来需结合解释性分析进行深入研究。
未来方向
未来将扩展SealQA的规模，加入更多语言和领域的复杂问题，探索多模态、多任务模型的鲁棒性。同时，结合解释性方法，深入分析模型在噪声环境中的推理机制，推动模型在真实场景中的应用落地。还计划引入自适应噪声生成技术，动态模拟不同环境的复杂信息，为模型提供更全面的训练和评估平台。
AI 总览摘要
在当今人工智能快速发展的背景下，大规模语言模型（LLMs）在多项任务中展现出卓越性能，但其在真实世界信息检索中的鲁棒性仍存巨大挑战。传统评估多依赖静态知识库或简化的事实检索，难以反映复杂环境中的噪声、冲突和长文本推理能力。为此，本文提出了SealQA基准，旨在系统性评估搜索增强模型在噪声干扰下的推理表现。
SealQA包含三类任务：SEAL-0、SEAL-Hard和LongSeal，涵盖多样化的问题类型和场景。每个问题由专家多轮审核，确保难度和真实性。实验采用多种前沿模型（如GPT-4.1、DeepSeek-R1-671B）结合搜索工具进行评测，结果显示即使最先进模型在此环境中表现也极为有限，准确率普遍低于50%，远不及人类水平。这揭示了模型在筛选、融合多源信息时的脆弱性，特别是在面对虚假信息、长文本干扰和多语言环境时。
研究发现，增加推理计算量并不能显著改善性能，反而可能引入更多噪声，导致表现下降。这强调了模型在推理机制和信息过滤方面的根本难题。该基准的发布，为未来模型的鲁棒性提升提供了重要的评估工具，也为行业和学界指明了下一步的研究方向，包括多模态、多任务学习和解释性机制的融合。总体而言，SealQA推动了搜索增强模型在复杂真实场景中的能力边界，为构建更智能、更可靠的AI系统奠定了基础。
深度分析
研究背景
近年来，大规模语言模型（如GPT系列、LLaMA）在自然语言理解和生成任务中取得突破，但其在实际应用中面临信息噪声、冲突和长文本推理的挑战。传统评估多依赖静态知识库或短问答任务，无法充分反映模型在复杂环境中的表现。已有的基准如MMLU、GPQA主要关注知识掌握和短时推理，未能模拟真实搜索场景中的噪声干扰。随着搜索增强技术的发展，模型开始结合外部搜索工具，但在噪声和虚假信息环境下的鲁棒性仍不足。为此，研究者亟需设计更具代表性和挑战性的评估体系，推动模型在实际应用中的可靠性。
核心问题
当前大模型在面对真实搜索环境中的噪声、冲突信息时表现不佳，尤其在筛选有用信息、识别虚假内容和长文本推理方面存在明显短板。现有评估方法多偏重于静态知识或简化场景，无法反映复杂、多源、多变的实际需求。这限制了模型在新闻、科研、决策支持等关键领域的应用效果。解决这一问题需要设计更具挑战性、真实感的基准，系统性测试模型的推理、筛选和抗干扰能力，以推动技术突破。
核心创新
本研究的核心创新在于提出SealQA基准，结合多场景、多难度、多源信息的真实搜索环境模拟。具体包括：• 多轮专家审核的问题设计，确保难度和真实性；• 引入长文本多文档推理任务，模拟实际长篇信息筛选；• 结合噪声、虚假信息和冲突场景，全面测试模型鲁棒性；• 采用多模型、多算法评测，揭示模型在复杂环境中的脆弱性。与传统基准不同，SealQA强调模型在真实噪声环境中的推理能力，推动模型更好适应实际应用。
方法详解
- �� 构建多样化问题集，涵盖科学、技术、历史、政治等领域，确保问题复杂且真实；
- �� 每个问题由多轮专家评审，筛选出在多模型、多次尝试中都失败的高难度题；
- �� 设计噪声模拟机制，包括虚假信息、冲突答案和长文本干扰，模拟真实搜索场景；
- �� 采用多模型评测，结合搜索工具（如FRESHPROMPT、自定义搜索API）进行推理，分析模型在不同噪声水平下的表现；
- �� 统计模型准确率、错误类型和鲁棒性指标，进行多轮对比分析。
实验设计
实验采用多种前沿模型（GPT-4.1、DeepSeek-R1-671B、LLAMA-3.2-70B等），结合不同搜索策略（内置搜索、外部搜索、无搜索）进行评测。指标包括准确率、错误类型、对噪声的敏感性。设置不同推理努力级别，分析推理深度对性能的影响。还引入人类评测，比较模型与专家的差距。实验重点在于验证模型在噪声、虚假信息和长文本环境中的表现差异，揭示模型的脆弱环节。
结果分析
模型在SEAL-0中的最高准确率仅为43.2%，远低于人类水平（超过70%）。引入搜索工具后，表现提升有限，反而在噪声环境中表现更差。LongSeal测试中，模型在大量干扰信息中难以识别正确证据，准确率普遍低于20%。增加推理计算量未能带来显著提升，反而可能导致性能下降。这些结果表明，当前模型在复杂、多源信息环境中的推理和筛选能力仍不足，亟需新技术突破。
应用场景
该基准适用于科研机构和企业评估模型在复杂搜索场景中的鲁棒性，推动开发更可靠的AI问答系统。未来在新闻筛查、科学研究、智能决策等领域具有重要应用价值。模型需结合多模态信息、解释机制，提升在真实环境中的表现，满足行业对信息可信度和抗干扰能力的需求。
局限与展望
目前基准规模有限，未覆盖所有复杂场景，未来需扩大数据集和问题多样性。模型评估多集中在特定架构，尚未验证新兴多模态、多任务模型的表现。对模型机制的深入分析不足，未来应结合解释性方法，理解模型推理失败的根源。此外，评估成本较高，实际应用中仍需优化效率和适应性。
通俗解读 非专业人士也能看懂
想象你在一个大型图书馆找信息，但书架上有很多虚假或误导的书。你需要通过仔细筛选、判断哪些内容是真的，哪些是误导，才能找到正确答案。这个过程就像模型在搜索信息时遇到的噪声和冲突。SealQA就像设计了一个特别难的“谜题”，让模型在面对大量虚假信息和长篇资料时，仍能找到正确的答案。它测试模型的筛选能力、推理能力和抗干扰能力，就像你在图书馆里学会了如何识别真假书籍一样。这个基准帮助我们了解，未来的AI能不能像人一样聪明，能在复杂的环境中找到真正有用的信息。
简单解释 像给14岁少年讲一样
想象你在学校的图书馆里找资料，但书架上有很多假消息和误导内容。你得花时间筛选，判断哪些是真的，哪些是假的，才能找到正确答案。这就像模型在搜索信息时遇到的困难。SealQA就设计了一些特别难的问题，让模型在面对很多虚假和混乱的信息时，仍然能找到正确的答案。它测试模型的筛选能力和推理能力，就像你学会了如何分辨真假书一样。这个基准可以帮助我们知道，未来的AI是否能像人一样聪明，能在复杂的环境中找到真正有用的信息。
原文摘要
We introduce SealQA, a new challenge benchmark for evaluating SEarch-Augmented Language models on fact-seeking questions where web search yields conflicting, noisy, or unhelpful results. SealQA comes in three flavors: (1) Seal-0 (main) and (2) Seal-Hard, which assess factual accuracy and reasoning capabilities, with Seal-0 focusing on the most challenging questions where chat models (e.g., GPT-4.1) typically achieve near-zero accuracy; and (3) LongSeal, which extends SealQA to test long-context, multi-document reasoning in "needle-in-a-haystack" settings. Our evaluation reveals critical limitations in current models: Even frontier LLMs perform poorly across all SealQA flavors. On Seal-0, frontier agentic models equipped with tools like o3 and o4-mini achieve only 17.1% and 6.3% accuracy, respectively, at their best reasoning efforts. We find that advanced reasoning models such as DeepSeek-R1-671B and o3-mini are highly vulnerable to noisy search results. Notably, increasing test-time compute does not yield reliable gains across o3-mini, o4-mini, and o3, with performance often plateauing or even declining early. Additionally, while recent models are less affected by the "lost-in-the-middle" issue, they still fail to reliably identify relevant documents in LongSeal when faced with numerous distractors. To facilitate future work, we release SealQA at huggingface.co/datasets/vtllms/sealqa.