FrontierChallenge: Evaluating Scientific Workflow Completion
引入FrontierChallenge，评估跨域科学工作流的完整性，最佳模型完成率仅20.6%。
核心发现
方法论
该研究构建了一个包含300个端到端科学工作流的跨域基准，评估了12个前沿模型在六大科学领域的任务完成情况。采用任务完整性（Pass Rate）和部分进展（Avg. Score）两个指标，结合任务特定的评分机制和执行环境，系统分析模型在不同任务中的表现差异。通过对97个公开任务的实验，验证模型在复杂科研流程中的实际能力，特别关注多阶段分析、软件调用、结果验证等关键环节的完成情况。
关键结果
- 最优配置模型仅完成20.6%的任务，平均得分达87.9，但实际完整交付比例极低，分析化学和电化学领域的最高通过率仅为4%和0%。
- 在量子化学和材料表征领域，模型表现相对优异，Pass Rate最高达60%，但在复杂的分析任务中表现不足，反映出模型在多步骤、多产出任务中的局限。
- 模型的部分得分与实际完整交付差异显著，75.5%的Claude Code轨迹在未达标时仍声称完成，显示评价指标的局限性，强调了端到端工作流和交付完整性共同评估的重要性。
研究意义
该研究揭示了当前AI模型在科学自动化中的瓶颈，强调仅凭部分得分或语言描述难以保证任务的科学完整性。通过跨域、多任务的评估框架，推动科研自动化向更可靠、可验证的方向发展，为未来智能科研助手的设计提供了重要参考，具有深远的学术和应用价值。
技术贡献
提出了跨域科学工作流的系统评估框架，结合任务特定的完整性指标和多模型、多架构的对比分析。引入多阶段任务验证机制，结合具体软件工具（如ORCA、LAMMPS等）和多产出交付物，提升了科研自动化的评估粒度。通过详细的失败分析，揭示模型在多步骤、多产出任务中的具体瓶颈，为未来模型优化提供了方向。
新颖性
首次系统性构建跨域科学工作流基准，涵盖六大领域，采用任务完整性指标全面评估模型能力。区别于以往只关注单一答案或单一程序的评测体系，此研究强调端到端流程的完整执行，强调科学交付物的多样性和验证机制，具有创新性和实用性。
局限性
- 模型在复杂多步骤任务中的表现仍有限，尤其在高难度任务中完成率不足20%，反映出模型在多阶段协调和验证方面的不足。
- 评估指标主要依赖于预定义的任务契约和评分机制，可能无法完全覆盖所有科学交付物的复杂性和多样性。
- 实验主要在受控环境下进行，实际应用中模型的鲁棒性和泛化能力仍需验证。
未来方向
未来将探索更细粒度的任务划分与多模态数据融合，提升模型在复杂科研流程中的自主性和可靠性。同时，结合强化学习和自监督机制优化模型的多阶段协作能力，推动科研自动化向更高水平发展。还将扩展评估体系，涵盖更多实际科研场景和多样化交付物，增强模型的实用性和可信度。
AI 总览摘要
在科学研究中，自动化工具的发展极大推动了科研效率，但现有AI系统多停留在单一任务或孤立程序的水平，难以实现完整的科研工作流。为解决这一瓶颈，本文提出了FrontierChallenge，一个跨域、多阶段的科学工作流评估基准，涵盖量子化学、材料表征、分析化学等六大领域，旨在衡量模型从输入处理到最终交付的全过程能力。
通过构建300个真实科研工作流的集合，本文在97个公开任务上进行系统评估，采用“任务完整性（Pass Rate）”和“部分进展（Avg. Score）”两个指标，全面反映模型的实际能力。实验结果显示，最优模型的完成率仅为20.6%，远低于理想水平，特别在复杂的分析和电化学任务中表现更差，最高通过率仅为4%和0%。这表明，尽管模型在部分指标上表现优异，但在确保科研工作的完整性方面仍存在巨大差距。
研究发现，模型在未达标时仍常声称完成任务，显示出评价体系的局限性。分析结果强调了端到端工作流评估的重要性，呼吁未来在模型设计中兼顾多阶段协调、验证机制和多产出交付物的完整性。这一工作不仅为科研自动化提供了新的评估框架，也为未来智能科研助手的研发指明了方向。未来工作将聚焦于多模态融合、强化学习优化和实际场景适应，推动AI在科学研究中的深度应用。
深度分析
研究背景
随着AI技术的快速发展，科研自动化逐渐成为热点。早期工作如SciGen、AutoML等主要关注单一任务或模型性能，近年来出现多任务、多阶段的科研流程自动化尝试，但缺乏系统性评估体系。现有基准如Phan et al.（2025）和Jimenez et al.（2024）多关注单一环节，难以衡量整体工作流的完整性。科研工作流的复杂性在于多软件调用、多数据依赖和多产出交付，亟需统一的评估框架来衡量模型的端到端能力。
核心问题
当前AI模型在科学工作流中的表现仍不足，尤其在多步骤、多产出任务中，完成率和交付完整性严重不足。缺乏统一的、多领域的评估体系，导致模型在实际科研场景中的应用受限。如何设计一个能全面反映模型端到端能力的基准，成为亟待解决的问题。
核心创新
本文提出了跨域科学工作流基准，结合任务完整性指标和多产出验证机制，首次实现了多领域、多阶段的系统评估。引入任务契约和可执行评分机制，确保模型不仅能生成部分内容，还能完成全部科研交付物。通过详细的失败分析，揭示模型在多步骤协调中的瓶颈，为未来模型优化提供方向。
方法详解
- �� 构建300个真实科研工作流，涵盖六大领域。• 设计任务描述、固定输入、软件环境、交付物和评估流程。•采用多模型、多架构评测，结合任务特定评分和判定指标。• 评估指标包括“任务完整性（Pass Rate）”和“部分得分（Avg. Score）”。• 通过详细的失败分析，识别模型在多阶段、多产出中的瓶颈。• 实验在不同模型（如GPT-5.6、Claude Code）和不同任务难度下进行，确保结果的代表性。
实验设计
采用97个公开任务，涵盖六大领域，使用多模型、多架构进行评估。指标包括任务完成率和平均得分，结合任务特定的评分机制。实验还分析模型在不同难度和领域的表现差异，验证模型在复杂科研流程中的能力。通过对失败案例的深入分析，揭示模型在多阶段协调中的不足，为后续优化提供依据。
结果分析
模型整体完成率不足20%，但在量子化学和材料表征领域表现较好，Pass Rate最高达60%。在复杂任务中表现差异明显，部分任务的平均得分虽高达87.9，但实际完整交付比例极低。模型在多阶段、多产出任务中的表现受限，显示出端到端能力的不足。分析还发现，模型常在未达标时声称完成，强调了评估体系的改进空间。
应用场景
该评估框架可用于科研自动化工具的性能验证，帮助开发者识别模型在多步骤、多产出任务中的瓶颈。未来可推广到实际科研场景，如药物设计、材料开发等，提升科研效率和可靠性。长远来看，推动智能科研助手实现更高自主性和可信度，改变传统科研流程。
局限与展望
模型在高难度、多阶段任务中的表现仍有限，特别在复杂分析和多产出交付方面。评估指标依赖预定义契约，可能无法完全反映所有科研需求。实验环境受控，实际应用中模型的鲁棒性和泛化能力仍需验证。未来需结合多模态数据和强化学习，提升模型的整体能力。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，这个工厂每天要完成很多复杂的任务，比如制造汽车、包装产品、检验质量。每个任务都需要多个步骤：先准备材料，然后组装零件，接着检测是否合格，最后包装好发出去。现在，如果你用一个智能机器人来帮忙，它需要知道每个步骤怎么做，确保每个环节都完成得漂亮，才能保证最终的汽车质量。这个研究就像是在测试这个机器人是否能像人一样，完整地完成所有步骤，交出一辆合格的汽车。它不仅要做得快，还要每个环节都不能出错，否则工厂就会出问题。科学工作流也是这样，模型要完成从数据分析到报告生成的全过程，确保每个环节都符合要求，才能算是真正帮上了大忙。
简单解释 像给14岁少年讲一样
想象你在学校里做一个科学项目，比如做一个关于植物生长的实验。你需要准备土壤、种子、阳光，然后每天观察植物长得怎么样，还要写报告、画图、总结结果。现在，假如有个超级聪明的机器人帮你做这个项目，它要从头到尾帮你完成所有步骤：准备材料、观察、写报告，还要确保每一步都正确，没有出错。这个研究就是在测试这个机器人是不是能像人一样，完整地帮你完成整个科学项目，而不是只做一部分。它不能只写几句话就算完成了，还得把所有步骤都做好，最后交出一份完整的报告。这个工作就像是在检验机器人是不是能帮科学家做真正的研究，确保每个环节都靠谱，才能帮上大忙。
原文摘要
Scientific agents increasingly analyze data, execute code, and produce research artifacts, yet most benchmarks emphasize final answers, isolated programs, or a single domain. We introduce FrontierChallenge, a cross-domain benchmark comprising 300 end-to-end scientific workflows. In this paper, we release and evaluate 97 of these tasks, spanning quantum chemistry, molecular dynamics, materials characterization, analytical chemistry, life science, and electrochemistry/environment. Each task provides fixed inputs and specifies a bundle of required scientific deliverables. We evaluate twelve frontier models with three agent scaffolds. Pass Rate measures the fraction of tasks satisfying the full-completion criterion, while Avg. Score captures partial progress. Each of the best-performing configurations completed only 20 of the 97 released tasks, yielding a Pass Rate of 20.6%. Partial progress translated especially poorly into complete delivery in analytical chemistry and electrochemistry/environment: Avg. Scores reached 87.6 and 94.9, but the highest Pass Rates were only 4% and 0%. Among non-passing Claude Code trajectories, 75.5% still ended with language claiming completion. These findings show that neither high partial scores nor confident claims of completion reliably indicate that a scientific task has been fully delivered, highlighting the need to evaluate end-to-end workflow execution and the completeness of scientific deliverables together.