LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks
LEAP利用蓝图分解与自我修正，提升LLMs在Lean形式证明中的成功率，从不足10%提升至70%。
核心发现
方法论
LEAP框架结合大规模预训练模型的非正式推理能力，通过生成高层次蓝图（蓝图图结构）与正式Lean证明，采用层次化依赖图（DAG）管理证明流程。系统在生成证明时，利用编译器反馈进行迭代修正，结合informal reasoning与formal verification，突破单步证明瓶颈。其核心算法包括蓝图生成、逐步formal化、验证与修正，借助LLM的指令跟随与自我优化能力，实现连续交互。此方法在复杂多步骤证明中表现优越，显著提升模型成功率。
关键结果
- 在2025年Putnam竞赛中，LEAP成功解决全部12题，达成100%成功率，显著优于传统模型的0%。
- 在Lean-IMO-Bench上，LEAP将通用LLMs的单次正式证明成功率从不足10%提升至70%，超越专用系统48%的表现。
- 在复杂组合数学问题中，LEAP自主完成了Knuth的Hamiltonian分解关键子问题的验证性证明，展现其研究级应用潜力。
研究意义
该研究突破了自然语言数学推理向形式化证明的瓶颈，展示了通用预训练模型在自动化形式数学中的新可能。通过引入蓝图与自我修正机制，极大提升了大模型在高难度、多步骤证明中的表现，为数学自动化验证提供了新路径。这不仅推动了形式数学的自动化进程，也为AI在数学研究中的深度应用奠定基础，有望改变未来数学证明与验证的范式。
技术贡献
创新点在于提出基于蓝图的层次化推理框架，结合持续交互与验证反馈，突破了传统单步证明的局限。系统利用DAG结构实现证明的可追溯性与重用，增强了模型的可解释性与效率。该方法首次证明了仅用通用LLMs即可实现高效、可靠的自动形式证明，挑战了以往依赖专门化模型的局限。技术上结合了informal reasoning、formal verification与自我修正机制，提供了全新的自动定理证明架构。
新颖性
这是首个完全依赖通用预训练模型，通过蓝图驱动的层次化交互，实现复杂数学定理的自动化形式证明。不同于以往专用模型或单一推理策略，LEAP引入多层次蓝图规划与验证机制，显著提升成功率，展现了通用模型在高难度形式证明中的潜力。
局限性
- 当前系统在极端几何或高度抽象的数学领域表现仍有限，主要因模型对特定领域知识的理解不足。
- 证明过程依赖大量LLM调用，计算成本较高，存在效率瓶颈。
- 在某些复杂或未定义的数学结构中，蓝图生成与验证仍可能失败，未来需优化蓝图规划策略。
未来方向
未来将结合领域特化的知识库与推理策略，提升几何、拓扑等领域的证明能力。同时，探索更高效的蓝图生成与验证机制，减少计算资源消耗。计划引入多模态信息与人机协作，增强系统的适应性与可扩展性，推动自动化数学证明向更广泛应用场景扩展。
AI 总览摘要
LEAP（LLM-in-Lean Environment Agentic Prover）是一种创新的自动定理证明框架，旨在突破大规模预训练模型在正式数学证明中的瓶颈。传统上，通用LLMs在自然语言数学推理中表现优异，但在生成可机械验证的Lean证明时效率低下，成功率不足10%。LEAP通过引入蓝图驱动的层次化推理策略，将复杂证明拆解为支持子目标，利用DAG结构管理依赖关系，实现中间证明的重用与追溯。系统在生成证明时，结合编译器反馈进行多轮自我修正，确保每一步的正确性与一致性。这种交互式、迭代式的流程极大提升了证明成功率，尤其在高难度、多步骤的数学题中表现出色。
在2025年Putnam竞赛中，LEAP成功解决所有12题，达成100%的成功率，远超传统模型的0%。此外，在Lean-IMO-Bench上，LEAP将通用LLMs的单次正式证明成功率从不足10%提升至70%，超越了专用系统的48%。系统还自主完成了Knuth的Hamiltonian分解关键子问题的验证，显示其在数学研究中的潜力。这一突破不仅验证了通用模型在形式数学中的应用可能，也为未来AI辅助数学研究提供了新思路。LEAP的核心创新在于蓝图规划与验证机制的结合，突破了单步证明的限制，推动了自动化数学验证的边界。未来，结合领域知识库与多模态信息，LEAP有望实现更广泛的数学领域自动化证明，改变数学研究与验证的传统流程。
深度分析
研究背景
形式数学的发展经历了从手工证明到计算机辅助验证的演变，代表性工作包括Coq、Lean、Isabelle等证明助手。近年来，深度学习模型在自然语言数学推理中取得突破，但在正式证明中仍受限，主要因模型难以生成符合严格语法和逻辑的Lean代码。专用的自动定理证明器（如Godel-Prover、Hilbert）虽在特定任务中表现优异，但缺乏通用性。当前研究试图结合预训练模型的非正式推理能力与形式验证的严谨性，推动AI在数学自动化中的应用，解决验证瓶颈，提升复杂证明的自动化水平。
核心问题
核心问题在于通用预训练模型难以在一次性生成完整、正确的Lean证明，尤其在多步骤、复杂逻辑的数学题中表现不足。传统方法依赖专门化模型或手工设计蓝图，效率低、适应性差。如何利用通用模型的非正式推理能力，结合结构化的蓝图规划，实现高成功率的自动化形式证明，成为亟待解决的难题。该问题关系到数学验证自动化的广泛应用，影响科研、教育和工业领域的数学智能化发展。
核心创新
本研究创新在于提出LEAP框架，结合蓝图驱动的层次化推理与验证机制，利用通用LLMs实现高效自动化证明。具体创新点包括：1）引入蓝图生成与支持子目标的层次化DAG结构，提升证明的可追溯性与重用性；2）采用多轮编译器反馈修正，增强模型的自我修正能力；3）结合informal reasoning与formal verification，实现自然语言策略与正式代码的无缝转换。这些创新突破了传统单步证明的瓶颈，显著提升了复杂证明的成功率。
方法详解
- �� 输入定理，注册为根目标（OR节点）
- �� 先尝试直接formal化：
- �� - 生成非正式证明
- �� - 转换为Lean代码
- �� - 编译器验证
- �� 若失败，转向蓝图规划：
- �� - 草拟非正式蓝图，提出中间引理
- �� - 转换为Lean证明草图
- �� - 编译验证，加入子目标（AND节点）
- �� 维护DAG结构，存储中间引理，支持重用
- �� 通过多轮反馈修正蓝图与证明，确保逻辑一致
- �� 递归处理子目标，逐步完成证明
实验设计
采用Putnam 2025与Lean-IMO-Bench两个数据集，比较LEAP与专用模型（如Godel-Prover、Hilbert、Aristotle）在成功率、效率上的表现。设置包括不同验证轮次、蓝图复杂度、模型调用次数等指标。通过ablation研究验证蓝图结构、验证反馈和多轮修正的贡献。性能指标涵盖成功率、运行时间、证明长度等，确保系统在复杂多步骤证明中的优越性。
结果分析
LEAP在Putnam 2025中实现100%成功，显著优于传统模型的0%。在Lean-IMO-Bench上，将成功率从不足10%提升到70%，超越专用系统48%。系统在复杂几何和数论题中表现优异，证明长度和调用次数均优于基线。AB测试显示多轮修正与蓝图结构显著提升效率，验证了方法的有效性与可扩展性。
应用场景
LEAP可应用于数学研究中的自动验证、教育中的智能辅导、工业中的形式验证等场景。其自动化能力降低了人工验证成本，加快了数学创新步伐。未来结合领域知识库，可实现更广泛的数学分支自动证明，推动AI在科学研究中的深度融合。
局限与展望
当前系统在极端几何和抽象结构中仍存在不足，主要因模型对特定领域知识理解有限。高计算成本限制了大规模应用，未来需优化算法与硬件资源。蓝图规划在某些复杂场景中仍可能失败，需引入更智能的蓝图生成策略。总体而言，系统在复杂性与效率之间仍需平衡，未来工作将聚焦于提升鲁棒性与适应性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜。每次做菜都需要准备食材、调料、步骤，然后一步步完成。LEAP就像一个聪明的厨师，它会先画出一份菜谱（蓝图），告诉你每个步骤需要哪些材料和操作。遇到难题时，它会先想好大致的做法，再逐步细化，确保每一步都正确。厨师会不断尝试、品尝、调整，直到菜做好。这个过程就像LEAP用蓝图规划、不断修正，最终做出完美的菜肴。它用类似的方式，把复杂的数学证明拆解成简单的步骤，逐个验证，确保每个环节都没错，最后完成一份完整的证明。
简单解释 像给14岁少年讲一样
想象你在做一个超级复杂的拼图游戏。你一开始不知道怎么拼，但你会先画一张草图，标出大致的拼法。然后，你试着拼一部分，看是否符合图纸。如果不对，你会重新调整。你还会记住之前拼好的部分，下次遇到相似的拼法时可以直接用。这就像LEAP一样，它先画出一个蓝图，告诉自己怎么一步步拼出数学证明。遇到难题时，它会试着写出部分证明，反复检查，直到拼出完整的答案。这个方法让拼图变得更容易，也更快完成。
原文摘要
Large Language Models (LLMs) exhibit strong informal mathematical reasoning but struggle to generate mechanically verifiable proofs in formal languages like Lean. We present LEAP, an agentic framework that enables general-purpose foundation models to achieve state-of-the-art performance on automated formal theorem proving. LEAP leverages foundation model capabilities, such as informal reasoning, instruction following, and iterative self-refinement. By decomposing complex problems into smaller units, the system bridges formal proof construction with informal blueprints through continuous interaction with the Lean compiler. To provide a rigorous evaluation beyond increasingly saturated benchmarks, we introduce Lean-IMO-Bench, a benchmark of IMO-style problems formalized in Lean, with short statements yet highly non-routine and multi-step proofs across a wide range of difficulty levels. Empirically, on the latest 2025 Putnam Competition, an annual mathematics competition for undergraduate students in North America, LEAP solves all 12 problems, matching recent breakthroughs by frontier formal mathematical models. On Lean-IMO-Bench, LEAP boosts the one-shot formal solve rate of general-purpose LLMs from below 10% to 70%, notably surpassing the 48% benchmark set by a specialized, gold-medal-caliber IMO system. Furthermore, we demonstrate LEAP's research-level utility by autonomously formalizing complex proofs for open combinatorial challenges, including a verified proof for a key subproblem in Knuth's Hamiltonian decomposition of even-order Cayley graphs.