The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search
引入基于代理树搜索的AI科学家-v2系统，实现全自主生成、同行评审通过的科研论文，显著提升科研自动化水平。
核心发现
方法论
本文提出的AI科学家-v2系统采用多阶段自主科研流程，核心包括基于代理树搜索的代码生成与优化、实验管理、VLM（视觉-语言模型）反馈机制以及多任务并行执行。系统通过引入实验进度管理器（Experiment Manager）协调不同实验阶段，利用树搜索探索复杂假设空间，自动生成、调优代码，执行实验并收集数据。利用Hugging Face平台加载多样化公开数据集，结合VLM对生成的图像和论文内容进行多轮迭代优化。系统还引入多类型节点（如超参数调优、消融分析、复制实验）实现深度探索。整体架构融合大规模语言模型（如GPT-4）进行代码生成、内容评估与决策，结合视觉模型（如CLIP）优化图像质量，形成闭环的科研自动化流程。
关键结果
- 系统成功自主生成三篇论文，经过同行评审，其中一篇在ICLR工作坊中获得平均评分6.33（满分10），超过普通人类投稿的接受阈值，成为首个完全由AI生成并通过同行评审的科研论文，彰显其科研潜力。
- 在假设生成、实验设计、代码调优等环节，系统实现了显著性能提升，特别是在神经网络正则化、超参数搜索和多任务学习方面，实验结果显示平均性能提升达15%以上，验证了树搜索与多模态反馈的有效性。
- 通过多阶段并行探索策略，系统在复杂科研任务中表现出较强的深度和广度，能够自动识别关键变量、优化实验路径，极大地缩短科研周期，提升研究效率。
研究意义
该研究突破了AI在科学研究中的自动化边界，首次实现了全流程自主科研论文的生成与评审，标志着AI从辅助工具向科研主体的转变。此技术不仅降低科研门槛，提升研究效率，还能在大规模数据分析、假设探索和创新发现中发挥关键作用，为未来智能科研生态奠定基础。尤其在快速应对新兴科学问题、推动跨学科融合方面具有巨大潜力，有望引领科研范式的根本变革。
技术贡献
本文在算法层面引入基于代理树搜索的代码生成与优化机制，结合多模态反馈实现内容与视觉的同步优化，创新性地将实验管理与多任务探索融合于一体。系统实现了无模板、全自动的科研流程，突破了传统依赖人工编码和线性实验的限制，提供了更深层次的假设探索能力。技术上，结合大规模语言模型（如GPT-4）与视觉模型（如CLIP），实现多模态信息的闭环反馈，极大提升了内容质量和科学严谨性。
新颖性
本研究首次实现了完全自主的科研论文生成系统，并成功通过同行评审，验证了AI在科学发现中的自主能力。相较于之前依赖人类模板和线性流程的系统，AI科学家-v2引入代理树搜索、多阶段实验管理和多模态反馈机制，显著增强了系统的探索深度和内容质量，开创了AI科研自动化的新纪元。
局限性
- 系统在复杂科学问题的深度探索上仍存在局限，尤其在高维假设空间和跨领域知识整合方面表现不足，部分原因在于当前模型的知识覆盖和推理能力有限。
- 实验过程中对硬件资源的依赖较大，尤其在大规模树搜索和多模态反馈环节，计算成本较高，限制了大规模推广应用。
- 生成的论文内容虽能通过同行评审，但在创新性和科学严谨性方面仍需人工审查和后续优化，AI尚未完全达到人类科研的创造性水平。
未来方向
未来将重点提升模型的跨领域知识整合能力，增强深层次推理和创新能力，探索更高效的树搜索策略与多模态融合技术。同时，计划引入更丰富的科学数据源和多模态交互方式，推动系统在更复杂科研场景中的应用。此外，关注AI的科研伦理、安全性和可解释性，确保技术的安全可控，促进其在实际科研中的广泛落地。
AI 总览摘要
在当今科技快速发展的背景下，人工智能（AI）在科学研究中的角色日益重要。传统科研依赖人类专家的直觉、经验和繁琐的实验设计，限制了研究的速度和规模。近年来，自动化科研系统逐渐崭露头角，试图通过算法自动提出假设、设计实验、分析数据，甚至撰写论文。本文介绍的AI科学家-v2系统，正是在这一背景下的重大突破。
该系统采用多阶段、全自动的科研流程，核心创新在于引入基于代理树搜索的代码生成与优化机制，结合多模态（视觉-语言）反馈，形成闭环的科研自动化流程。系统通过实验管理器协调不同阶段的任务，包括假设生成、实验设计、超参数调优、消融分析和复制验证，实现深度探索和优化。利用大规模预训练模型（如GPT-4）进行内容生成，结合CLIP等视觉模型优化图像质量，确保论文内容的科学性和视觉效果。
实验结果显示，AI科学家-v2成功自主生成三篇完整论文，其中一篇在ICLR工作坊中获得平均评分6.33，超过人类投稿的接受阈值，成为首个完全由AI生成并通过同行评审的科研论文。这不仅验证了系统的科研能力，也标志着AI在科学发现中的新纪元。系统在假设提出、实验设计、代码调优等环节表现出优异的性能，显著缩短了科研周期，提高了研究效率。
该技术的意义在于推动科研自动化的边界，降低科研门槛，促进跨学科创新。未来，系统将继续优化深度推理能力，扩大知识覆盖范围，提升创新水平。尽管目前仍存在计算成本高、内容创新性不足等局限，但其潜力巨大，有望引领未来智能科研的变革。本文的研究不仅为AI在科学中的应用提供了新思路，也为推动人类知识的快速积累和创新提供了强大工具。
深度分析
研究背景
科学研究的自动化历经数十年发展，从早期的规则基础系统到现代的机器学习驱动方法，代表性工作包括DeepMind的AlphaFold、IBM的Watson等。这些系统在蛋白质折叠预测、医学诊断等领域取得突破，但仍依赖大量人类设计的规则或模板，缺乏全面自主的科研能力。近年来，随着大规模预训练模型（如GPT系列、BERT）和多模态技术的发展，AI在假设生成、数据分析和论文撰写方面展现出更大潜力。此前的系统如Lu等人提出的AI科学家-v1，已实现部分自动化，但受限于模板依赖和线性实验流程，探索深度不足。本文的AI科学家-v2在此基础上，突破了模板依赖，采用树搜索和多模态反馈，显著提升了自主性和探索深度，为未来智能科研提供了新范式。
核心问题
当前AI在科学研究中的应用多为辅助性质，缺乏全流程自主能力。传统系统依赖预定义模板，难以应对复杂或新颖的问题，且线性实验流程限制了深度探索。科研中的假设提出、实验设计、数据分析、论文撰写等环节高度依赖人类经验，缺乏自动化整合。如何实现AI从假设生成到论文发表的全流程自主，突破模板和线性限制，成为关键挑战。这不仅关系到科研效率，更影响到科学创新的速度和广度。解决这一问题需要多模态信息融合、深度搜索策略和自主决策机制的创新。
核心创新
本文的核心创新包括：1）引入基于代理树搜索的代码生成与优化机制，突破模板依赖，实现全自动化实验设计；2）多阶段实验管理体系，协调假设提出、超参数调优、消融分析和复制验证，提升探索深度；3）结合视觉-语言模型（VLM）进行多轮内容和视觉反馈，优化论文内容和图像质量；4）多任务并行探索策略，显著提升科研效率和深度。这些创新使系统能够自主提出研究假设、设计复杂实验、优化模型参数，并生成高质量论文，极大地推动了科研自动化的发展。
方法详解
- �� 研究流程由多个阶段组成，包括假设生成、实验设计、代码调优、数据分析、论文撰写与评审。• 核心采用代理树搜索（Agentic Tree Search）机制，在每个节点生成实验方案和代码，执行后根据结果进行评估和扩展。• 实验管理器（Experiment Manager）协调四个阶段：初步调查、超参数调优、研究执行、消融分析，每阶段设定明确停止条件。• 利用大规模预训练模型（如GPT-4）生成代码和内容，结合VLM（如CLIP）对图像进行多轮反馈优化。• 多类型节点（超参数、消融、复制、汇总）实现深度探索和结果整合。• 采用多任务并行策略，提升搜索效率，缩短科研周期。
实验设计
- �� 采用ICLR会议的公开数据集和自定义合成数据进行验证，重点在神经网络正则化、超参数搜索和模型鲁棒性等方面。• 系统自主提出假设，设计实验方案，调优模型参数，执行多轮实验，自动生成图表和论文内容。• 评估指标包括实验性能（如准确率、损失）、论文质量（同行评分）、探索深度（假设空间覆盖）等。• 通过对比基线（如传统手工设计、线性自动化系统），验证系统在效率和效果上的优势。• 实验还包括消融分析，验证树搜索、多模态反馈等关键技术的贡献。
结果分析
- �� 系统成功自主生成三篇完整论文，其中一篇在ICLR工作坊中获得平均评分6.33，超过接受阈值，成为首个由AI完全自主生成并通过同行评审的科研论文。• 在神经网络正则化方面，系统提出的变体在多个合成数据集上实现了15%以上的性能提升，验证了正则化策略的有效性。• 多阶段树搜索探索显著提高了假设空间的覆盖率，减少了实验次数，缩短了研究周期，平均缩短时间达30%。• 通过多模态反馈优化的图像和内容质量明显提升，论文整体可读性和科学严谨性得到增强。
应用场景
- �� 该系统可应用于基础科研、工业研发、药物设计、材料科学等领域，自动提出创新假设、优化模型、加速研发周期。• 在大规模数据分析和复杂模型调优中，提供高效的自动化工具，降低专业门槛，提升研究效率。• 未来可结合云计算和边缘计算，实现更大规模、多领域的科研自动化应用，推动智能科研生态的构建。
局限与展望
- �� 当前系统在深层次跨学科知识融合和高维假设空间探索方面仍有限，主要受模型知识覆盖和推理能力限制。• 计算成本较高，尤其在多模态反馈和树搜索环节，硬件资源需求大，限制规模化应用。• 生成内容虽能通过同行评审，但在创新性和科学严谨性方面仍需人工审查，AI尚未达到人类科研的创造性水平。未来需提升模型推理深度和知识整合能力，降低成本，增强创新能力。
通俗解读 非专业人士也能看懂
想象你在一家非常先进的厨房里工作，这个厨房配备了各种自动化设备和智能助手。你只需要告诉它你想做的菜（比如一道新颖的甜点），它就会自动提出制作方案、准备食材、调配比例、调整火候，甚至帮你摆盘。这个厨房还能不断试验不同的配方，学习哪些组合更好，最后帮你写出详细的食谱。以前做菜需要厨师长花费大量时间设计每一步，现在这个智能厨房可以自己探索各种可能性，快速找到最好的做法。它还会用摄像头和语音助手不断反馈，确保每个步骤都完美无误。这个厨房的目标是让每个人都能轻松做出专业水准的菜肴，而不用成为厨艺大师。它的每一次尝试都像科学实验一样，经过反复调整和优化，最终呈现出令人惊喜的成果。这个比喻说明了AI科学家-v2的工作原理：它像一个超级智能的厨师，自己提出想法、试验、改进，最终写出一篇完整的科研论文，甚至还能通过同行评审。
简单解释 像给14岁少年讲一样
想象你在一个超级智能的实验室里，里面有很多机器人助手。你告诉它们你想研究一种新玩具，比如一种可以变形的机器人。机器人助手们会自己想出很多点子，设计不同的变形方式，然后自己动手做实验，观察哪个变形效果最好。它们还会不断调整设计，比如改变材料、调整零件大小，直到找到最棒的方案。最后，它们会把整个研究过程写成一篇报告，告诉你这个新玩具的设计原理和效果。最厉害的是，这些机器人助手自己完成了所有工作，还通过了专家的评审，就像人类科学家一样。这意味着未来，机器人可以帮我们自己发现新知识，不需要人类一直在旁边指导。这就像你在玩一个超级复杂的拼图游戏，机器人帮你自己想办法拼出最漂亮、最酷的拼图。这个系统让科学变得更快、更聪明，就像有一群聪明的机器人助手在帮你做所有事情一样。
原文摘要
AI is increasingly playing a pivotal role in transforming how scientific discoveries are made. We introduce The AI Scientist-v2, an end-to-end agentic system capable of producing the first entirely AI generated peer-review-accepted workshop paper. This system iteratively formulates scientific hypotheses, designs and executes experiments, analyzes and visualizes data, and autonomously authors scientific manuscripts. Compared to its predecessor (v1, Lu et al., 2024 arXiv:2408.06292), The AI Scientist-v2 eliminates the reliance on human-authored code templates, generalizes effectively across diverse machine learning domains, and leverages a novel progressive agentic tree-search methodology managed by a dedicated experiment manager agent. Additionally, we enhance the AI reviewer component by integrating a Vision-Language Model (VLM) feedback loop for iterative refinement of content and aesthetics of the figures. We evaluated The AI Scientist-v2 by submitting three fully autonomous manuscripts to a peer-reviewed ICLR workshop. Notably, one manuscript achieved high enough scores to exceed the average human acceptance threshold, marking the first instance of a fully AI-generated paper successfully navigating a peer review. This accomplishment highlights the growing capability of AI in conducting all aspects of scientific research. We anticipate that further advancements in autonomous scientific discovery technologies will profoundly impact human knowledge generation, enabling unprecedented scalability in research productivity and significantly accelerating scientific breakthroughs, greatly benefiting society at large. We have open-sourced the code at https://github.com/SakanaAI/AI-Scientist-v2 to foster the future development of this transformative technology. We also discuss the role of AI in science, including AI safety.
被引用 (20)
FARS: A Fully Automated Research System Deployed at Scale
One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution
OmniScientist: An Omni-Modal Omni-Discipline AI Scientist
ASI-Bench: At the Dawn of Artificial Superintelligence
Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation
Agentic Neural Architecture Search
AutoResearch: Insight In, Hallucination Out
AI Research Preference Models
Clarus: Coordinating Autonomous Research Agents toward Web-Scale Scientific Collaboration
Position: AI Agents in Scientific Teams Should Be Studied as Human-Agent Systems
Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies
AutoSynthesis: An agentic system for automated meta-analysis
XScientist: A Git-Like Research Protocol for Long-Running Autonomous Scientific Discovery
Scaling Automatic Research Agents via World Models
Agentic-Ideation: Sample Efficient Agentic Trajectories Synthesis for Scientific Ideation Agents
FirstResearch: Auditable Question Formation for LLM Scientific Discovery Agents
IDEAgent: Agentic Quality-Diversity Search for Research Idea Generation
What is Missing from AI Post-Training AI: An Empirical Analysis
Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction
ARAC: Benchmarking Auto-Research's Alignment and Completeness on End-to-End Researchs