核心发现
方法论
本研究设计了包含LSR-Transform和LSR-Synth两类问题的LLM-SRBench，前者通过变换物理模型的数学表达形式，测试模型超越记忆的推理能力；后者引入合成的、驱动发现的问题，结合科学知识与数据推理。采用SymPy符号库进行变换验证，利用GPT-4等模型生成和评估问题，确保问题的科学合理性与难度。通过对多种先进LLMs（如GPT-4、Llama-3）进行系统评测，分析模型在符号准确率和数据拟合度上的表现，发现最高符号准确率仅31.5%。
关键结果
- 最优模型在LSR-Transform类别中符号准确率仅达31.5%，远低于人类专家预期，显示模型在超越记忆、理解复杂变换方面仍存巨大挑战。
- 在LSR-Synth类别中，最高模型符号准确率为28.1%，表明合成问题的复杂性超出当前模型的推理能力。
- 多模型对比显示，结合科学先验知识的引导策略显著优于纯数据驱动方法，验证了知识融入的重要性。
研究意义
该基准突破了现有依赖已知方程的局限，系统性地评估模型在科学推理中的能力，为未来开发具备真正发现潜能的AI系统提供了标准。强调模型在理解复杂变换和合成新知识方面的不足，推动科学AI从记忆向推理转变，具有深远的学术与应用价值。
技术贡献
提出创新的两类问题设计，结合符号变换与合成驱动，增强模型推理能力评估的全面性。引入符号验证机制，确保问题的科学合理性。系统评测多模型，揭示当前技术在科学推理中的瓶颈，推动基于知识的模型设计。为科学方程发现提供了标准化、具有挑战性的测试平台。
新颖性
首次系统性构建融合变换与合成的双重挑战基准，避免模型通过记忆轻松应对。引入符号验证确保问题的科学性，突破传统只依赖已知方程的局限。该设计显著提升了评估的科学性和挑战性，为科学AI的研究提供新方向。
局限性
- 目前仅覆盖物理、化学、生物和材料科学四个领域，未来需扩展至更多科学领域。
- 模型表现受限于符号推理能力，尚未充分结合领域知识与深层理解。
- 评估指标主要集中在符号准确率，未来应结合因果推理和解释性指标。
未来方向
未来将扩展多模态数据融合，增强模型在复杂科学问题中的推理能力。探索知识图谱与符号推理结合的深度学习架构，提升模型的泛化能力。推动构建更大规模、多领域的基准，促进科学AI的标准化发展。
AI 总览摘要
科学方程的发现一直是推动自然科学进步的核心任务。传统方法依赖遗传编程和演化算法，受限于庞大的搜索空间和缺乏科学知识引导。近年来，大语言模型（LLMs）因其嵌入丰富科学知识的能力，成为潜在的突破口。然而，现有评测多依赖已知方程，模型通过记忆轻松应对，难以衡量其真正的发现能力。为此，本文提出了LLM-SRBench，一个包含239个跨领域、难度较高的问题集，设计了两大类别：LSR-Transform通过变换已知物理模型的数学表达，测试模型超越记忆的推理能力；LSR-Synth引入合成的、驱动发现的问题，结合科学知识与数据推理。实验结果显示，最优模型符号准确率仅达31.5%，凸显现有技术的局限。该基准为未来科学AI的研究提供了重要评估平台，推动模型从记忆向理解与发现转变。整体而言，本文不仅丰富了科学方程发现的评估体系，也为模型的科学推理能力提出了新的挑战。未来，结合多模态数据和知识图谱的深度融合，将是提升模型能力的关键方向。
深度分析
研究背景
科学方程的发现是理解自然规律的基础。早期方法如遗传编程（Genetic Programming）在符号回归中取得一定成功，但面临搜索空间庞大和缺乏科学知识引导的挑战。近年来，深度学习尤其是大语言模型（如GPT系列）展现出强大的知识嵌入能力，激发了用AI辅助科学发现的兴趣。已有研究尝试结合符号推理与深度学习，但缺乏系统性、具有挑战性的评估平台，难以衡量模型的真正推理能力。现有基准多依赖已知公式，模型通过记忆轻松应对，无法体现其潜在的科学发现能力。因此，开发更具挑战性、能有效评估模型推理和发现能力的基准成为亟需。
核心问题
核心问题在于如何设计一个既能避免模型通过记忆应对，又能有效评估其超越记忆、进行科学推理的基准。现有方法多依赖已知方程，模型通过简单记忆应付测试，难以体现其推理能力。科学发现需要模型理解复杂的数学变换、合成新知识，但现有评测缺乏对这些能力的考察。如何在保证科学合理性的同时，设计具有挑战性的问题集，是推动科学AI发展的关键。
核心创新
本研究提出了两大创新：一是LSR-Transform，通过变换已知物理模型的数学表达，测试模型超越记忆的推理能力；二是LSR-Synth，结合合成的、未知的科学术语，挑战模型的知识融合与数据推理能力。这两类问题设计避免了模型通过记忆应对，强调理解与创新。引入符号验证机制，确保问题的科学合理性，提升评测的科学性。这一体系突破了传统基准的局限，为科学AI提供了更真实的能力评估平台。
方法详解
- �� 设计问题集：包括LSR-Transform（变换数学表达）和LSR-Synth（合成新术语）两类。
- �� 变换流程：采集Feynman物理方程，选择目标变量，符号变换（SymPy），筛选可解的表达式，过滤数据域。
- �� 合成流程：选择科学问题，生成已知和合成术语，验证可解性与新颖性，生成数据点，专家验证。
- �� 评估指标：符号准确率（利用GPT-4评估），数据拟合（NMSE、Accτ）等。
- �� 实验：采用GPT-4、Llama-3等模型，标准化调用次数，比较不同模型性能。
实验设计
在包含物理、化学、生物、材料科学的239题问题集上，评估多种模型表现。指标包括符号准确率、数值拟合误差。结果显示，最高模型符号准确率仅31.5%，远低于人类专家水平。模型在LSR-Transform和LSR-Synth类别中表现均有限，验证了问题设计的难度。通过消融实验分析不同策略对性能的影响，强调知识引导的重要性。
结果分析
模型在LSR-Transform类别中最高符号准确率为31.5%，在LSR-Synth中为28.1%。结合科学先验知识的引导策略明显优于纯数据驱动方法。模型在变换复杂表达式和合成新术语方面表现不足，显示当前技术在科学推理上的瓶颈。基准的挑战性和多样性为未来研究提供了明确目标。
应用场景
该基准推动科学AI在自动方程发现、模型验证、科学教育等领域的应用。模型可辅助科学家快速验证假设、探索未知规律。未来结合多模态数据和知识图谱，将极大提升模型在复杂科学问题中的推理能力，为工业界提供智能化的科学分析工具。
局限与展望
目前仅覆盖有限科学领域，未来需扩展多学科数据。模型仍主要依赖符号推理，缺乏深层理解。评估指标偏重符号准确率，未来应加入因果推理和解释性指标。计算成本较高，模型在复杂变换中的表现仍有限。未来需结合领域知识和多模态信息，提升模型的泛化和解释能力。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工人们每天都在用不同的方法制造同一种产品。有时候，他们用不同的工具或不同的步骤，但目标都是一样的。科学家也是这样，他们用不同的数学表达方式描述自然规律。现在，科学家希望用AI帮忙找到这些规律，但AI就像一个工人，可能只记得一些常用的方法，遇到新方法就不知道怎么做。这个研究就像设计了一个特别的工厂，让AI面对各种不同的制造方法，看看它是否能学会理解和创造新方法，而不是只会重复旧的。通过这种方式，我们可以知道AI是不是真的懂得科学，而不是只会背书。
原文摘要
Scientific equation discovery is a fundamental task in the history of scientific progress, enabling the derivation of laws governing natural phenomena. Recently, Large Language Models (LLMs) have gained interest for this task due to their potential to leverage embedded scientific knowledge for hypothesis generation. However, evaluating the true discovery capabilities of these methods remains challenging, as existing benchmarks often rely on common equations that are susceptible to memorization by LLMs, leading to inflated performance metrics that do not reflect discovery. In this paper, we introduce LLM-SRBench, a comprehensive benchmark with 239 challenging problems across four scientific domains specifically designed to evaluate LLM-based scientific equation discovery methods while preventing trivial memorization. Our benchmark comprises two main categories: LSR-Transform, which transforms common physical models into less common mathematical representations to test reasoning beyond memorized forms, and LSR-Synth, which introduces synthetic, discovery-driven problems requiring data-driven reasoning. Through extensive evaluation of several state-of-the-art methods, using both open and closed LLMs, we find that the best-performing system so far achieves only 31.5% symbolic accuracy. These findings highlight the challenges of scientific equation discovery, positioning LLM-SRBench as a valuable resource for future research.