MARCA: A Checklist-Based Benchmark for Multilingual Web Search

近年来，LLMs在自然语言处理领域取得突破，但其网页信息检索能力仍面临挑战。早期工作如WebGPT、BrowseComp等，主要集中在英语环境，缺乏多语种评估。多语种信息检索的复杂性在于不同语言的网页内容差异、查询表达方式差异，以及多实体信息的整合难度。现有多语种资源如mMARCO、MIRACL，主要评估段落检索，缺少端到端网页交互能力测试。随着多语种应用需求增加，亟需系统性评估模型在实际网页环境中的表现。

核心问题在于，现有评测工具多为静态或单一任务，难以反映模型在真实多实体、多网页环境中的能力。多语种网页检索涉及跨语言理解、动态网页内容处理、实体识别与关联等多重难题，模型在多实体识别、信息验证、内容整合方面表现不一。缺乏统一标准衡量模型在多语种、多实体场景中的性能，限制了模型优化与实际应用推广。

本研究创新点在于：1）提出结合核对表的多实体问答评估体系，细粒度衡量答案的完整性与正确性；2）设计两种交互框架（基础与调度），模拟不同场景下模型的网页交互能力；3）引入多次随机执行与不确定性分析，增强评估的稳健性。此体系首次覆盖英语与葡萄牙语，结合手工设计与动态检索，系统性分析多语种、多实体信息整合能力，为多语种网页搜索提供新标准。

• �� 构建52个多实体问题，涵盖多个主题领域，配以手工设计的核对表，明确每个答案应包含的实体与属性。
• �� 设计两种评估框架：基础（模型直接调用网页搜索和爬取工具）和调度（模型作为调度者，分解任务委托子代理执行）。
• �� 每题多次随机执行（3次），利用GPT-4判定答案的正确性与完整性，统计运行不确定性。
• �� 采用核对表指标（满足度）作为性能衡量标准，结合平均值与标准差，分析模型表现差异。
• �� 比较不同语言（英语、葡萄牙语）下模型的性能变化，评估多语种迁移能力。

实验在自建的52题数据集上进行，涵盖9个主题领域，使用多种模型（如GPT-4、Gemini-3、Qwen-3等）在两框架下评估。指标为核对表准确率，统计多次运行的平均值与标准差。通过调度框架，观察任务分解对性能的影响。还分析了不同语言间的表现差异，评估模型在多语种环境中的适应性。实验还包括成本-性能关系分析，为实际应用提供参考。

模型性能差异显著，最高达0.90，最低仅0.26。调度框架普遍提升模型表现，尤其是复杂多实体任务。多语种迁移表现不一，部分模型在葡语中性能下降超过5%。调度框架对部分模型提升明显，但对表现已优异的模型影响有限。成本与性能呈正相关，性能提升伴随计算成本增加。整体结果验证了调度策略在多实体信息整合中的有效性。

该基准可应用于多语种大模型的开发与调优，特别适合需要多实体、多网页信息整合的场景，如智能问答、搜索引擎优化、跨语言内容管理。企业可借助此工具评估模型在实际网页环境中的表现，指导模型改进。未来，结合动态网页内容与用户交互，推动多语种智能信息服务的落地。

评估依赖GPT-4判定，可能存在偏差，且未考虑模型在实际应用中的响应速度与成本。题库规模有限，覆盖面不足，未来需扩展多领域、多实体问题集。调度框架复杂度高，实际部署成本较大，需优化任务分解策略。模型在动态网页环境中的适应性仍需验证，未来需考虑实时性与鲁棒性。