LongCat-Flash-Prover: Advancing Native Formal Reasoning via Agentic Tool-Integrated Reinforcement Learning
LongCat-Flash-Prover通过工具整合强化学习提升Lean4形式化推理,MiniF2F-Test通过率97.1%。
核心发现
方法论
本文提出了一种混合专家迭代框架,结合了自动形式化、草图生成和证明三种能力。使用分层重要性采样策略优化政策,稳定长时间任务的训练过程,并通过定理一致性和合法性检测机制消除奖励作弊问题。
关键结果
- 在MiniF2F-Test上,LongCat-Flash-Prover以每题72次推理预算达到了97.1%的通过率,显著优于现有开源模型。
- 在ProverBench和PutnamBench上,分别以70.8%和41.5%的通过率超越基线模型。
- 在MathOlympiad-Bench和PutnamBench上,Pass@32指标分别提升了25.5%和20.3%。
研究意义
LongCat-Flash-Prover在形式化推理领域设立了新的开源模型标杆,解决了现有模型在长时间任务中不稳定的问题,并通过高效的样本使用率显著提升了推理效率。这一进展对学术界和工业界的形式化验证和自动化推理具有重要意义。
技术贡献
该研究在现有方法的基础上,引入了混合专家迭代框架和分层重要性采样策略,显著提升了长时间任务的训练稳定性和推理效率。通过工具整合强化学习,模型能够动态选择合适的工具和策略,适应不同难度的推理任务。
新颖性
这是首次在形式化推理任务中引入混合专家迭代框架和分层重要性采样策略,显著提升了模型的推理效率和稳定性。与现有工作相比,该方法在工具整合和任务分解上具有创新性。
局限性
- 在极端复杂的定理证明任务中,模型的推理效率仍有提升空间,可能需要更多的推理预算。
- 模型在处理非结构化数据时可能表现不佳,需要进一步优化。
未来方向
未来研究可探索在更复杂的推理任务中应用该框架,优化工具整合策略,并进一步提升模型的推理效率和稳定性。此外,研究如何在其他形式化语言中应用该方法也是一个重要方向。
AI 总览摘要
近年来,形式化推理在人工智能领域的重要性日益增加。然而,现有的大型语言模型在处理形式化定理证明任务时仍面临挑战,尤其是在长时间任务的稳定性和推理效率方面。
LongCat-Flash-Prover通过引入混合专家迭代框架和分层重要性采样策略,显著提升了模型在Lean4形式化推理中的表现。该模型能够自动形式化非正式问题,生成草图式证明,并在复杂的定理证明任务中表现出色。
实验结果表明,LongCat-Flash-Prover在多个基准测试中超越了现有开源模型,尤其是在MiniF2F-Test上达到了97.1%的通过率。这一进展为形式化推理的自动化和高效化提供了新的可能性,推动了该领域的进一步发展。
深度分析
研究背景
形式化推理在确保软件和硬件系统的可靠性方面发挥着关键作用。近年来,随着大规模语言模型的发展,形式化推理的自动化成为可能。然而,现有模型在处理复杂的定理证明任务时仍面临挑战,尤其是在长时间任务的稳定性和推理效率方面。
核心问题
现有的大型语言模型在形式化定理证明任务中表现不佳,主要由于长时间任务的不稳定性和推理效率低下。如何在不增加推理预算的情况下提高模型的推理效率和稳定性是一个亟待解决的问题。
核心创新
本文提出的混合专家迭代框架结合了自动形式化、草图生成和证明三种能力,显著提升了模型的推理效率。通过分层重要性采样策略,模型能够动态选择合适的工具和策略,适应不同难度的推理任务。
方法详解
- �� 自动形式化:将非正式问题转化为形式化陈述。
- �� 草图生成:生成辅助引理的草图式证明。
- �� 证明:完成目标定理的整体证明。
- �� 分层重要性采样:优化长时间任务的训练过程。
实验设计
实验在MiniF2F-Test、ProverBench和PutnamBench上进行,使用Pass@32和推理预算作为评估指标。通过与现有开源模型的对比,验证了LongCat-Flash-Prover的优越性。
结果分析
在MiniF2F-Test上,LongCat-Flash-Prover以每题72次推理预算达到了97.1%的通过率。在ProverBench和PutnamBench上,分别以70.8%和41.5%的通过率超越基线模型。
应用场景
该模型可用于自动化形式化验证和复杂定理证明任务,尤其适用于需要高效推理的场景,如软件验证和安全性分析。
局限与展望
尽管模型在多个基准测试中表现出色,但在极端复杂的定理证明任务中,推理效率仍有提升空间。此外,模型在处理非结构化数据时可能表现不佳。
通俗解读 非专业人士也能看懂
想象你在厨房做饭。你有一个食谱(非正式问题),需要将其转化为具体的步骤(形式化陈述)。然后,你列出需要的材料和工具(草图生成),最后按照步骤完成这道菜(定理证明)。LongCat-Flash-Prover就像一个智能助手,帮助你优化每一步,确保你做出的菜既美味又符合标准。
简单解释 像给14岁少年讲一样
想象你在玩一个解谜游戏。每个谜题都是一个需要解决的问题(非正式问题)。你需要把它变成一个可以执行的计划(形式化陈述),然后一步步解决(定理证明)。LongCat-Flash-Prover就像你的游戏攻略,帮助你找到最快的解法!
术语表
Mixture-of-Experts (MoE)
一种模型架构,通过多个专家模型的组合来提高性能。
用于提升LongCat-Flash-Prover的推理能力。
Auto-Formalization (自动形式化)
将非正式问题转化为形式化陈述的过程。
用于生成可验证的形式化陈述。
Sketching (草图生成)
生成辅助引理的草图式证明。
用于分解复杂的定理证明任务。
Hierarchical Importance Sampling (分层重要性采样)
一种优化策略,用于稳定长时间任务的训练过程。
用于优化LongCat-Flash-Prover的训练。
Theorem Consistency (定理一致性)
确保生成的证明与原始定理一致的机制。
用于消除奖励作弊问题。
开放问题 这项研究留下的未解疑问
- 1 如何在极端复杂的定理证明任务中进一步提升推理效率?
- 2 如何在其他形式化语言中应用该方法?
应用场景
近期应用
软件验证
通过自动化形式化验证提高软件系统的可靠性和安全性。
远期愿景
通用人工智能
推动形式化推理在通用人工智能中的应用,实现更高效的自动化推理。
原文摘要
We introduce LongCat-Flash-Prover, a flagship 560-billion-parameter open-source Mixture-of- Experts (MoE) model that advances Native Formal Reasoning in Lean4 through agentic tool-integrated reasoning (TIR). We decompose the native formal reasoning task into three independent formal capabilities, i.e., auto-formalization, sketching, and proving. To facilitate these capabilities, we propose a Hybrid-Experts Iteration Framework to expand high-quality task trajectories, including generating a formal statement based on a given informal problem, producing a whole-proof directly from the statement, or a lemma-style sketch. During agentic RL, we present a Hierarchical Importance Sampling Policy Optimization (HisPO) algorithm, which aims to stabilize the MoE model training on such long-horizon tasks. It employs a gradient masking strategy that accounts for the policy staleness and the inherent train-inference engine discrepancies at both sequence and token levels. Additionally, we also incorporate theorem consistency and legality detection mechanisms to eliminate reward hacking issues. Extensive evaluations show that our LongCat-Flash-Prover sets a new state-of-the-art for open-weights models in both auto-formalization and theorem proving. Demonstrating remarkable sample efficiency, it achieves a 97.1% pass rate on MiniF2F-Test using only 72 inference budget per problem. On more challenging benchmarks, it solves 70.8% of ProverBench and 41.5% of PutnamBench with no more than 220 attempts per problem, significantly outperforming existing open-weights baselines.