LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery
提出科学生成代理（SGA）框架，结合LLMs与差分模拟实现物理科学发现，优化性能显著优于传统方法。
核心发现
方法论
本文提出的科学生成代理（SGA）采用双层优化框架，外层由大规模语言模型（LLMs）负责提出科学假设和符号表达式，内层通过可微分的物理模拟平台进行参数优化。具体来说，外层利用提示工程引导LLMs在离散符号空间进行搜索，生成潜在的物理定律或分子结构，并通过启发式策略调整生成温度实现探索与利用的平衡。内层利用梯度下降在连续参数空间中优化物理参数（如弹性模量、分子坐标），通过模拟反馈不断修正假设。两层通过贝叶斯或演化策略交互，形成闭环优化，提升发现效率和创新性。该框架结合了符号搜索的表达能力和模拟的精确性，适用于材料科学、分子设计等多领域，展示出优异的性能。
关键结果
- 在材料本构定律发现任务中，SGA显著优于基线方法，平均损失降低至0.0052，相较于传统符号回归和单层优化方法提升超过50%。在分子设计任务中，模型成功发现了符合目标量子性质的分子结构，误差指标降低到1.3×10^-4，优于GhemGE等传统算法。多项实验中，SGA提出的解决方案在专家评审中表现出合理性，甚至超出人类预期，展现出强大的探索能力。通过消融实验验证，双层优化和温度调节策略对性能提升具有关键作用。
- 在不同科学任务中，SGA展现出良好的泛化能力，能适应不同符号空间和模拟平台，验证其作为通用科学发现工具的潜力。
- 在模拟和符号搜索结合的框架下，模型能自主发现复杂非线性关系和新颖的分子构型，推动了物理科学和化学领域的创新研究。
研究意义
该研究突破了传统科学发现方法的局限，将自然语言理解与高精度模拟相结合，为自动化科学探索提供了新路径。通过双层优化策略，模型不仅能高效搜索潜在的科学规律，还能在复杂参数空间中实现精细调控，极大地缩短了从假设到验证的周期。这一框架的成功应用，标志着人工智能在推动基础科学、材料创新和药物研发等领域迈出了重要一步。未来，结合更丰富的模拟平台和多模态信息，SGA有望实现更广泛的科学自动化，助力人类解答长期悬而未决的科学难题。
技术贡献
本文的核心技术创新在于提出结合符号空间搜索与可微模拟的双层优化框架，利用LLMs进行符号表达式生成，结合差分模拟实现参数优化。具体贡献包括：• 设计了基于提示工程的外层符号搜索策略，支持离散符号的高效探索；• 引入温度调节机制实现探索与利用的平衡，增强模型的创新能力；• 构建可微分的物理模拟平台，支持连续参数的梯度优化，提升参数拟合精度；• 通过贝叶斯或演化策略实现双层交互，优化搜索效率和解的多样性；• 展示该框架在物理定律和分子设计中的广泛适用性，推动了AI在科学发现中的应用边界。
新颖性
本研究首次系统性结合大规模语言模型与差分模拟，提出双层贝叶斯-演化优化策略，用于科学定律和分子结构的自动发现。不同于传统符号回归或纯模拟方法，SGA通过符号空间搜索引导模拟参数优化，兼具表达能力与计算效率。其创新点在于：• 将符号表达式生成作为外层搜索目标，突破单一优化的局限；• 利用温度调节实现探索与利用的动态平衡；• 设计了通用的贝叶斯-演化交互机制，适应多领域多任务；• 通过多任务验证，证明其在物理和化学中的广泛适用性，开启了AI辅助科学发现的新篇章。
局限性
- 模型对提示设计依赖较大，提示工程的优化仍需大量实验验证，影响模型的泛化能力。
- 模拟平台的差异可能导致不同任务的性能波动，模型在极端复杂系统中的表现仍待验证。
- 高计算成本限制了大规模、多任务的实时应用，未来需优化算法效率和硬件利用率。
未来方向
未来，作者计划引入多模态信息（如图像、实验数据）丰富模型输入，提升假设生成的多样性和准确性。同时，将探索更高效的模拟平台和分布式优化策略，以降低计算成本。此外，结合强化学习和元学习机制，增强模型的自主学习能力，推动AI在更复杂的科学问题中的应用。最终目标是实现全自动化的科学发现流程，解答人类尚未理解的自然规律。
AI 总览摘要
在当今科学研究中，自动化发现新规律和设计新材料的需求日益增长。传统方法依赖于人类专家的直觉和经验，耗时且受限于知识储备。近年来，人工智能，尤其是大规模语言模型（LLMs），展现出强大的知识表达和推理能力，为科学探索带来了新希望。然而，单纯依赖LLMs在模拟观察反馈和物理规律的精准建模方面仍存在瓶颈。为突破这一限制，本文提出了科学生成代理（SGA）框架，将符号空间搜索与差分模拟相结合，形成双层优化体系。
在该框架中，外层由LLMs负责提出科学假设和符号表达式，利用提示工程引导其在离散符号空间进行搜索，生成潜在的物理定律或分子结构。内层则通过可微模拟平台，对连续参数（如材料弹性模量、分子位置）进行梯度优化，利用模拟反馈不断修正假设。两层通过贝叶斯或演化策略交互，形成闭环，显著提升发现效率和创新能力。
实验结果显示，SGA在物理定律发现和分子设计任务中表现优异。具体而言，在材料本构定律任务中，模型成功识别出复杂非线性关系，损失指标降低至0.0052，优于传统符号回归方法50%以上。在分子设计中，模型发现的分子结构在量子性质预测中误差降至1.3×10^-4，优于GhemGE等传统算法。多项消融实验验证了双层优化和温度调节策略的关键作用。
这一研究不仅推动了AI在科学发现中的应用边界，也为未来实现全自动化科学探索提供了技术基础。通过结合符号搜索与模拟仿真，模型能自主发现复杂规律和新颖结构，助力材料科学、药物研发等领域的创新。未来，结合多模态信息和更高效的优化算法，SGA有望成为科学研究的强大工具，解答人类尚未理解的自然奥秘。
深度分析
研究背景
科学研究一直在追求自动化和智能化，以加快新材料、新药和新理论的发现。传统方法依赖于人类专家的直觉和经验，耗费大量时间和资源。近年来，深度学习和符号AI的结合，为科学自动化提供了可能。早期工作如符号回归（Symbolic Regression）和符号推理（Symbolic Reasoning）在物理和化学领域取得一定成果，但受限于表达能力和搜索效率。随着大规模语言模型（如GPT-4、UniMol）问世，科学探索的边界被进一步拓宽。这些模型具备丰富的知识库和推理能力，能理解复杂的科学语言和符号，成为潜在的科学助手。与此同时，差分模拟技术（如Material Point Method, MPM）允许在计算机上高效模拟复杂的物理过程，为验证假设提供了精准的反馈。结合符号搜索的表达能力和模拟的精确性，成为推动科学自动化的关键路径。尽管如此，如何有效融合符号空间搜索与连续参数优化，仍是当前研究的难点。本文在此背景下提出了科学生成代理（SGA）框架，旨在实现跨学科的科学自动发现。
核心问题
核心问题在于，如何在复杂的科学任务中，自动生成合理的符号表达式（如物理定律、分子结构），同时优化连续参数（如弹性模量、原子坐标），以符合实验观察和理论约束。传统符号回归算法在符号空间搜索方面效率有限，难以处理高维复杂关系。而纯模拟方法虽然精确，但计算成本高，难以在大规模搜索中快速找到优解。此外，单一模型难以兼顾表达能力和优化效率。本文提出的双层优化策略，试图弥补这些不足，通过符号空间的离散搜索引导模拟参数的连续优化，实现科学假设的高效发现。这一问题的解决，将极大推动材料科学、化学和物理学的自动化研究，缩短从假设提出到验证的时间。
核心创新
本研究的创新点主要体现在以下几个方面：1）提出结合大规模语言模型（LLMs）与差分模拟的双层优化框架，突破了传统单一模型的局限。2）引入符号空间搜索策略，通过提示工程引导LLMs在离散空间中生成科学假设，提升表达能力和探索效率。3）设计温度调节机制，实现探索与利用的动态平衡，增强模型的创新性。4）构建可微分的物理模拟平台，支持连续参数的梯度优化，提升参数拟合精度。5）采用贝叶斯或演化策略实现两层交互，优化搜索路径和解的多样性。6）验证模型在物理定律和分子设计中的广泛适用性，展现出优异的泛化能力。此创新组合，为科学自动发现提供了全新的技术路径。
方法详解
- �� 输入：初始猜测（如线性材料模型或简单分子结构）和目标观察指标。
- �� 符号搜索：利用提示工程引导LLMs在符号空间中提出潜在的科学表达式（E），如物理定律或分子结构。
- �� 温度调节：通过调节生成温度，实现探索（高温）与利用（低温）的平衡，增强多样性。
- �� 交互策略：采用贝叶斯或演化算法，从历史解中生成多个候选（Em, Θm），并筛选出表现较好的方案。
- �� 内层优化：在模拟平台上对连续参数（θ）进行梯度下降，利用可微模拟（如MPM）反馈误差，优化参数。
- �� 反馈机制：将模拟结果（如应力、轨迹）作为观察反馈，指导符号表达式的修正。
- �� 迭代优化：多轮交互，逐步逼近目标物理规律或分子性质。
- �� 终止条件：满足预设误差阈值或达到最大迭代次数，输出最优解。
- �� 适用范围：该流程可适应不同科学任务，只需调整提示和模拟平台。
实验设计
- �� 任务设计：包括本构定律发现（弹性、塑性、流体）和分子设计（量子性质目标）两个方向。
- �� 数据集：使用差分模拟平台（如MPM）和QM9等量子化学数据集。
- �� 基线模型：符号回归、传统优化算法、纯模拟方法等。
- �� 评价指标：损失函数（如误差、能量差）、拟合精度、创新性（新颖性）等。
- �� 超参数：最大迭代次数、符号空间宽度、模拟次数、温度调节参数。
- �� 消融实验：验证双层优化、温度调节和交互策略对性能的影响。
- �� 结果分析：比较不同方法的指标，统计显著性，分析提出方案的合理性和创新性。
结果分析
- �� 在物理定律发现任务中，模型成功识别出复杂非线性关系，损失指标降低至0.0052，优于符号回归和单层优化50%以上，验证了双层优化的有效性。
- �� 在分子设计任务中，模型提出的分子结构在量子性质预测中误差降至1.3×10^-4，显著优于GhemGE等传统算法。
- �� 消融实验显示，去除双层优化或温度调节会导致性能下降50%以上，说明这两个机制对模型表现至关重要。
- �� 通过多任务验证，模型在不同科学任务中都表现出良好的泛化能力，证明其作为通用科学发现工具的潜力。
应用场景
- �� 立即应用：该框架可用于材料科学中的新材料设计，药物研发中的分子筛选，以及基础物理定律的自动发现。
- �� 长远愿景：未来结合多模态数据（如图像、实验数据）实现跨领域自动化科学探索，推动人类对自然规律的深层理解，缩短创新周期。
局限与展望
- �� 计算成本高，尤其在大规模符号空间和高维模拟中，需优化算法和硬件资源。
- �� 模型对提示设计敏感，提示工程的优化仍需大量实验。
- �� 当前模拟平台在极端复杂系统中的表现有限，未来需引入更高效的模拟技术。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，厨师（科学家）需要不断试验不同的食材和调料（符号表达式），同时用烤箱或炉子（模拟平台）测试出最合适的火候和时间（连续参数）。厨师会根据每次试验的结果调整食谱（假设），不断尝试新的组合，直到做出味道最好的菜。这整个过程既需要灵感（符号搜索），也需要精确的调控（模拟优化），两者相互配合，才能快速找到最优的菜谱。本文提出的科学生成代理（SGA）就像这样的厨师，通过AI的帮助，自动在符号空间中探索各种可能的食谱，并用模拟厨房不断试验，最终找到最美味的菜肴（科学规律或分子结构）。这种方法比传统的试错更高效，也更有可能发现新奇的组合，推动科学和技术的进步。
简单解释 像给14岁少年讲一样
假设你在玩一个超级复杂的拼图游戏，你需要找到正确的拼图块（科学假设）和拼装方式（参数），才能拼出一幅完整的画。以前，你可能会试很多次，慢慢猜，花费很多时间。现在，有个聪明的机器人助手（AI模型），它可以帮你提出各种可能的拼图方案（符号表达式），并用电脑模拟拼装的效果（模拟平台），告诉你哪些方案看起来更接近最终的画。这个机器人会不断学习和调整，提出更好的拼图方案，然后用模拟验证，直到拼出最漂亮的画。这个过程就像科学家不断猜测和验证自然规律一样。文章介绍的这个新方法，让机器人助手变得更聪明，能自己提出新点子，也能用模拟帮忙验证，大大加快了科学发现的速度。未来，这样的机器人助手还能帮我们设计新药、新材料，甚至解开宇宙的奥秘。
原文摘要
Large Language Models have recently gained significant attention in scientific discovery for their extensive knowledge and advanced reasoning capabilities. However, they encounter challenges in effectively simulating observational feedback and grounding it with language to propel advancements in physical scientific discovery. Conversely, human scientists undertake scientific discovery by formulating hypotheses, conducting experiments, and revising theories through observational analysis. Inspired by this, we propose to enhance the knowledge-driven, abstract reasoning abilities of LLMs with the computational strength of simulations. We introduce Scientific Generative Agent (SGA), a bilevel optimization framework: LLMs act as knowledgeable and versatile thinkers, proposing scientific hypotheses and reason about discrete components, such as physics equations or molecule structures; meanwhile, simulations function as experimental platforms, providing observational feedback and optimizing via differentiability for continuous parts, such as physical parameters. We conduct extensive experiments to demonstrate our framework's efficacy in constitutive law discovery and molecular design, unveiling novel solutions that differ from conventional human expectations yet remain coherent upon analysis.
参考文献 (20)
Population-based de novo molecule generation, using grammatical evolution
N. Yoshikawa, Kei Terayama, T. Honma 等
Benchmarking Large Language Models As AI Research Agents
Qian Huang, Jian Vora, Percy Liang 等
Transformer-based model for symbolic regression via joint supervised learning
Wenqiang Li, Weijun Li, Linjun Sun 等
Uni-Mol: A Universal 3D Molecular Representation Learning Framework
Gengmo Zhou, Zhifeng Gao, Qiankun Ding 等
Evolutionary algorithm for bilevel optimization using approximations of the lower level optimal solution mapping
Ankur Sinha, P. Malo, K. Deb
A Review on Bilevel Optimization: From Classical to Evolutionary Approaches and Applications
Ankur Sinha, P. Malo, K. Deb
LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Guolin Ke, Qi Meng, Thomas Finley 等
Automating drug discovery
G. Schneider
Junction Tree Variational Autoencoder for Molecular Graph Generation
Wengong Jin, R. Barzilay, T. Jaakkola
Science of science
S. Fortunato, Carl T. Bergstrom, K. Börner 等
The material point method for simulating continuum materials
Chenfanfu Jiang, Craig A. Schroeder, J. Teran 等
A probabilistic and multi-objective analysis of lexicase selection and ϵ-lexicase selection
W. L. Cava, Thomas Helmuth, L. Spector 等
Understanding and Simplifying One-Shot Architecture Search
Gabriel Bender, Pieter-Jan Kindermans, Barret Zoph 等
Learning concise representations for regression by evolving networks of trees
W. L. Cava, T. Singh, James Taggart 等
ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware
Han Cai, Ligeng Zhu, Song Han
Optimization of Molecules via Deep Reinforcement Learning
Zhenpeng Zhou, S. Kearnes, Li Li 等
Improving Model-Based Genetic Programming for Symbolic Regression of Small Expressions
M. Virgolin, T. Alderliesten, C. Witteveen 等
Linear scaling with and within semantic backpropagation-based genetic programming for symbolic regression
M. Virgolin, T. Alderliesten, P. Bosman
Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients
Brenden K. Petersen, Mikel Landajuela
被引用 (20)
Finetuning Large Language Model as an Effective Symbolic Regressor
Mimicking the Physicist's Eye:A VLM-centric Approach for Physics Formula Discovery
LLM-driven design of physics-constrained constitutive models: two agents are better than one
Exploring LLM-Powered Agents for Modeling Thermal Dynamics of Buildings
LLMs as designers of physics-constrained neural networks for constitutive modeling: a demonstration on hyperelastic solids
Evaluation of Large Language Models as Solution Generators in Complex Optimization
A Systematic Survey on Large Language Models for Evolutionary Optimization: From Modeling to Solving
Data-driven discovery of digital twins in biomedical research
A Bibliometric Overview of Conversational AI in Hydrology and Environmental Sciences
Instructional Agents: Reducing Teaching Faculty Workload through Multi-Agent Instructional Design
Autonomous Agents for Scientific Discovery: Orchestrating Scientists, Language, Code, and Physics
SR-Scientist: Scientific Equation Discovery With Agentic AI
ChatDC: Geometric-aware Data Center Digital Twin Generation via Large Language Models
Automated Model Discovery via Multi-modal & Multi-step Pipeline
Deep Ideation: Designing LLM Agents to Generate Novel Research Ideas on Scientific Concept Network
AgenticSciML: collaborative multi-agent systems for emergent discovery in scientific machine learning
SURFACEBENCH: A Geometry-Aware Benchmark for Symbolic Surface Discovery
Teaching According to Students' Aptitude: Personalized Mathematics Tutoring via Persona-, Memory-, and Forgetting-Aware LLMs
Automating modeling in mechanics: LLMs as designers of physics-constrained neural networks for constitutive modeling of materials
Embodied Co-Design for Rapidly Evolving Agents: Taxonomy, Frontiers, and Challenges