Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents
AutoSciRub通过自动诱导任务特定的可执行评分标准，提升科研代理的评估与改进能力。
核心发现
方法论
AutoSciRub采用四步流程：评分骨架诱导、科学文献 grounding、任务数据探索与标准合成。首先，将模糊指令转化为科学目标集合，构建骨架。然后，通过检索arXiv、Semantic Scholar等文献资源，结合任务环境数据， grounding目标与证据。最后，合成具体、可验证的评分标准，指导科研执行。该流程依托大规模预训练模型（如GPT-4、DeepSeek-V4-Flash）实现自动化，结合Criterion Synthesis机制确保标准科学性与可行性。
关键结果
- 在ResearchClawBench上，AutoSciRub在三种LLM（Codex、GPT-5.4、GLM-5.2）中平均提升2.08分（满分100），在三种代理架构中提升2.95分，表现出良好的模型与架构泛化能力。
- 在AstaBench E2E Discovery的20个任务子集中，AutoSciRub平均提升16.8分，且任务成功率由原有水平保持或提升，验证了其在多任务、多领域的适应性。
- 逐步消融实验显示，评分骨架诱导贡献有限，但科学文献 grounding与标准合成显著提升评估质量，验证了多阶段流程的有效性。
研究意义
该研究突破了科研自动化中的评估瓶颈，将“先评估、后改进”理念引入自动科研流程。通过自动生成科学评分标准，显著提高科研代理的目标导向性与证据支持力度，为未来自主科研系统提供可扩展、可解释的评估机制，推动AI在科学研究中的深度融合。
技术贡献
提出基于文献 grounding与任务数据探索的自动评分标准合成框架，结合Criterion Verification机制实现逐步迭代优化。引入多层次目标分解与证据验证策略，增强科研过程的可控性与科学性。该方法在多领域、多模型上均表现出优越的泛化能力，显著优于传统人工或半自动评分体系。
新颖性
首次系统性地将自动评分标准诱导融入科研代理流程，实现从模糊指令到具体可验证标准的全自动转化。区别于以往仅作为后评估工具的方法，AutoSciRub将评分标准作为中间科学规范，指导科研执行与迭代，具有较强的前瞻性和实用性。
局限性
- 当前方法依赖大规模预训练模型，计算成本较高，且对文献 grounding的依赖可能在新兴领域表现不足。
- 评分标准的科学性与完整性仍受限于文献检索质量与数据探索的准确性，存在漏检或偏差风险。
- 在极端复杂或跨学科任务中，标准合成可能不足以覆盖所有科学细节，需结合专家知识进行微调。
未来方向
未来将结合知识图谱与领域专家反馈，增强评分标准的科学性与解释性。同时，探索多模态数据融合与动态标准调整机制，以适应更复杂、多变的科研场景，推动自动科研代理的自主性与可靠性。
AI 总览摘要
随着大规模预训练模型（如GPT-4、DeepSeek-V4-Flash）在科研自动化中的应用不断深化，如何确保科研输出的科学性与可靠性成为核心挑战。传统方法多依赖人工制定的评估标准，难以满足多样化、动态变化的科研需求。本文提出AutoSciRub，一种创新的自动评分标准诱导框架，旨在在科研流程中实现“先评估、后改进”。该方法通过四个步骤：评分骨架诱导、文献 grounding、任务数据探索与标准合成，将模糊指令转化为具体、可验证的科学目标与证据标准。实验结果显示，在ResearchClawBench和AstaBench两个多领域、多模型的基准上，AutoSciRub均显著提升科研代理的表现，平均提升2.08分和16.8分，验证了其优越的泛化能力。该框架不仅增强了科研流程的目标导向性，也为自动科研系统提供了可解释、可扩展的评估机制。未来，结合知识图谱与多模态数据，将进一步提升标准的科学性与适应性，为自主科研迈向更高水平提供技术支撑。
深度分析
研究背景
近年来，自动科研代理逐步从单一任务向多阶段、多领域扩展，代表性工作包括Wei等（2025）提出的多任务多模型系统，以及Lu等（2024）构建的多智能体协作框架。尽管如此，科研输出的评估仍主要依赖人工经验，缺乏系统化、可解释的自动化标准。现有自动评分多偏重于后评估，难以在执行过程中提供指导，限制了科研流程的自主性与效率。
核心问题
核心问题在于如何在科研自动化中引入科学性强、可操作的评估标准。现有方法多为事后评分，不能在执行阶段指导科研行为，导致遗漏关键分析或使用不当方法。特别是在开放式任务中，隐含的目标与证据要求难以自动识别，影响科研质量与可靠性。
核心创新
本研究的创新点在于：1）提出基于文献 grounding的自动评分标准合成机制，2）引入多阶段目标分解与数据探索，3）结合Criterion Verification实现逐步迭代优化。不同于传统人工或半自动方法，AutoSciRub实现了从模糊指令到科学标准的全自动转化，增强了科研流程的目标明确性与科学性。
方法详解
- �� 评分骨架诱导：将指令拆解为科学目标集合，确保目标覆盖主旨。
- �� 文献 grounding：检索相关论文、预印本，提取方法、指标、验证方案。
- �� 任务数据探索：分析任务环境数据，确认可行的实验与分析路径。
- �� 标准合成：结合目标、文献与数据，生成具体、可验证的评分标准。
- �� 研究执行：依据标准进行实验分析，逐步验证与修正，确保科学性。
实验设计
在ResearchClawBench和AstaBench上，比较未使用与使用AutoSciRub的科研代理表现。指标包括任务得分、成功率，采用GPT-5.4、DeepSeek-V4-Flash等模型。通过逐步消融验证各阶段贡献，分析不同模型与领域的适应性，确保方法的普适性。
结果分析
AutoSciRub在ResearchClawBench中，平均提升2.08分，最高达3.60分；在AstaBench中，提升16.8分，任务成功率由原有水平提升至满分。逐步消融显示，文献 grounding与标准合成是性能提升的关键因素。模型与领域的跨越验证了方法的广泛适用性。
应用场景
该框架可应用于自动科研流程中的各个环节，如论文写作、实验设计、数据分析等，帮助科研人员自动生成科学评估标准，提升研究质量与效率。未来还可结合知识图谱实现更深层次的科学推理，推动AI自主科研的广泛落地。
局限与展望
当前方法依赖大量文献与数据资源，计算成本较高，且在新兴或跨学科领域可能面临 grounding不足的问题。评分标准的科学性还需结合专家微调，未来需优化标准生成的鲁棒性与解释性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，之前你只知道要做一道菜，但没有详细的步骤和标准。AutoSciRub就像一个智能厨师助手，它会先帮你列出所有需要完成的具体步骤，比如切菜、调味、烹饪时间等，然后查阅食谱和厨房里的食材，确保每个步骤都符合科学的做菜原则。接着，它会根据你提供的食材和工具，制定详细的操作标准，告诉你每一步怎么做才最科学、最美味。你按照标准操作后，它会检查你的菜是否符合要求，比如味道、色泽、口感，发现问题就帮你调整。这样一来，你的菜就能做得更好、更科学，也更容易成功。AutoSciRub就像这个智能厨师助手，让科研变得像做菜一样有章可循，科学又高效。
简单解释 像给14岁少年讲一样
想象你在学校做科学实验，但老师只告诉你要找到一种新材料，却没有告诉你具体怎么做，也没有标准。AutoSciRub就像一个聪明的老师助手，它会帮你把这个任务变得具体，比如要测量材料的导电性、观察其结构，然后查阅相关的科学书和实验方法，确保你知道每一步该怎么做。它还会帮你制定详细的步骤和判断标准，比如“导电性达到某个数值”或者“结构符合预期”，让你知道自己做得对不对。你按照这些标准做完后，它会检查你的实验结果，告诉你哪里做得好，哪里还需要改进。这样，你的实验就会变得更科学、更准确，也更容易成功。AutoSciRub就像这个聪明的老师，让科学变得像做手工一样简单又有章法。
原文摘要
Autonomous scientific research agents are increasingly applied to end-to-end scientific workflows, including literature review, data analysis, experimentation, and report generation. However, open-ended research tasks often do not clearly specify the analyses, methods, and success criteria required to complete the task. As a result, agents may miss important analyses, use inappropriate methods, or draw conclusions that are insufficiently supported by evidence. To address the problem, we present AutoSciRub, an evaluation-first framework that induces a task-specific executable rubric before research execution, and uses it to guide execution, criterion-level verification as well as iterative revision. AutoSciRub decomposes an underspecified instruction into atomic scientific goals, grounds them in relevant literature and task-visible data, and synthesizes specific, actionable, and verifiable criteria. The resulting rubric makes implicit experimental and evidential requirements explicit, providing guidance for experiments and analyses. During revision, rubric-guided verification identifies unmet criteria and enables targeted refinement of the research report and its supporting artifacts. On ResearchClawBench, AutoSciRub consistently improves all tested configurations, with an average gain of 2.08 points across three backbone LLMs under the fixed Codex harness and 2.95 points across three agent harnesses using a fixed DeepSeek-V4-Flash backbone. On a randomly sampled 20-task subset of AstaBench E2E Discovery, AutoSciRub further achieves an average improvement of 16.8 points across three agent harnesses, while maintaining or increasing the number of successfully completed tasks. These results demonstrate that evaluation-first guidance provides an effective and generalizable control mechanism for autonomous scientific research (Code: https://github.com/zjunlp/AutoSciRub).