核心发现
方法论
本文提出的FormuEvo框架将MIP公式设计视为符号空间中的演化优化，利用可执行建模程序表示候选公式。通过LLM驱动的交叉、变异和修复操作，结合基于求解器统计信息的诊断机制，实现目标导向的公式改进。引入结构化记忆存储先前经验，支持零样本迁移和模型压缩。该方法在多类线性与非线性问题上表现出优越性能，求解速度提升最高达5.5倍，超越专家设计和现有LLM方法。
关键结果
- 在TSP、JSSP、BPP、CFLP和QAP等多种任务中，FormuEvo发现的公式显著优于传统和LLM基线，平均加速达4.2倍。特别是在复杂实例中，求解时间缩短超过50%。
- 通过引入求解器细粒度统计信息，诊断机制有效引导公式优化，提升了搜索效率。在不同规模模型中，迁移能力表现出色，验证了知识蒸馏的有效性。
- 在多项任务中，FormuEvo的公式不仅提升了求解速度，还改善了公式的结构紧凑性和稳健性，减少了不必要的搜索空间。
研究意义
该研究突破了自动化优化公式设计的瓶颈，结合深度学习与演化算法，显著提升MIP求解器的效率，解决了传统专家经验依赖的局限。其引入的求解器反馈机制和知识迁移策略，为工业界提供了自动化、高效的建模工具，有望推动大规模优化问题的智能求解发展。
技术贡献
提出基于LLM的演化框架，结合求解器统计信息进行目标导向的公式优化，创新性地将符号空间演化与求解器反馈融合。引入结构化记忆与知识蒸馏技术，实现跨问题迁移和模型压缩，增强算法的泛化能力。该方法在多个公开基准上实现了超越现有技术的性能提升，验证了其理论与工程价值。
新颖性
首次将LLM引导的演化策略应用于全局符号空间的MIP公式优化，结合求解器细粒度统计信息进行目标导向调整，突破了传统单纯正确性生成的局限。引入结构化记忆和知识蒸馏，支持跨问题迁移，展现出强大的泛化能力。
局限性
- 当前方法依赖大量求解器统计信息，计算成本较高，可能限制在极大规模问题中的应用。
- 对不同类型问题的适应性仍需验证，特别是在高度非线性或复杂约束情况下的表现。
- 模型训练与演化过程耗时较长，未来需优化算法效率与并行能力。
未来方向
未来将探索多目标优化策略，结合强化学习提升公式质量。加强跨领域迁移能力，扩展到更复杂的非线性和大规模问题。优化算法的并行化与自适应机制，降低计算成本，推动工业级应用落地。
AI 总览摘要
在工业优化和决策制定中，混合整数规划（MIP）作为核心工具，其求解效率直接影响实际应用的可行性。传统的公式设计依赖于专家经验，难以应对复杂多变的实际问题。近年来，大语言模型（LLM）在自动化建模方面展现出潜力，但多集中于语义正确性，忽视了公式的求解性能。为突破这一瓶颈，本文提出FormuEvo，一种结合LLM引导的演化算法框架，旨在自动发现求解器高效的MIP公式。该方法将公式设计转化为符号空间中的演化优化，通过LLM驱动的交叉、变异和修复操作，结合基于求解器统计信息的诊断机制，实现目标导向的公式改进。引入结构化记忆存储先前经验，支持知识迁移和模型压缩，增强算法的泛化能力。实验结果显示，FormuEvo在多类线性与非线性问题上均优于传统和现有LLM方法，最高加速达5.5倍，显著提升了工业优化的自动化水平。这一创新融合了深度学习、演化算法和求解器反馈，为未来智能优化提供了新思路。未来的研究将聚焦于多目标优化、跨领域迁移及算法效率提升，推动工业智能决策的变革。
深度分析
研究背景
优化算法在工业、交通、管理等领域扮演关键角色。传统方法依赖专家经验设计公式，难以应对复杂问题。近年来，随着求解器如Gurobi、COPT的发展，优化求解效率显著提升，但公式设计仍是瓶颈。经典技术如有效不等式、对称性破除虽有贡献，但在现代求解器内部可能引发性能反效果。大语言模型的出现，为自动化建模提供新途径，但多集中于正确性，缺乏对公式求解性能的优化能力。演化算法在算法设计中表现出强大潜力，但多用于参数调优，少用于结构优化。本文结合LLM、演化搜索与求解器反馈，试图突破传统限制，自动发现高效公式。
核心问题
核心问题在于如何自动设计既正确又高效的MIP公式。现有方法多关注语义正确性，忽视公式结构对求解速度的影响。专家设计依赖丰富经验，难以规模化。自动化方法缺乏对求解器内部状态的利用，导致生成的公式在实际应用中表现平平。如何结合求解器细粒度统计信息，指导公式结构优化，成为亟待解决的难题。该问题关系到大规模优化的实际应用效率，具有极高的挑战性。
核心创新
提出LLM引导的演化框架FormuEvo，创新点包括：1）将公式设计视为符号空间中的演化优化，突破单次生成限制；2）引入求解器细粒度统计信息作为诊断依据，实现目标导向的公式改进；3）利用结构化记忆存储先前经验，支持知识迁移和模型压缩；4）结合多组件（生成、诊断、修复、反思、蒸馏）实现系统化优化。该方法融合深度学习、演化算法与求解器反馈，显著提升公式质量与求解速度。
方法详解
- �� 输入：自然语言问题描述与公式模板。
- �� 初始化：利用LLM生成多样化候选公式。
- �� 评估：在求解器上运行候选公式，记录运行时间和成功率。
- �� 诊断：利用求解器统计信息，LLM分析瓶颈，指导公式改进。
- �� 修复：对失败公式进行调试，确保正确性。
- �� 记忆：抽象成功经验，存入结构化存储。
- �� 进化：通过交叉、变异生成新公式，结合诊断信息优化结构。
- �� 迭代：多轮演化，筛选出最优公式。
- �� 输出：性能最佳的公式，显著提升求解效率。
实验设计
在TSP、JSSP、BPP、CFLP和QAP等经典基准上验证，使用Gurobi作为求解器，评估指标包括运行时间、成功率和公式紧凑性。实验设计涵盖不同规模实例，比较专家设计、LLM生成和演化优化的效果。参数设置包括：种群规模8，演化轮次5，变异率0.3。采用多次随机初始化，确保结果稳定。还测试了迁移能力和不同模型规模的表现。
结果分析
FormuEvo在所有任务中均优于基线，平均加速达4.2倍，最高达5.5倍。在TSP中，公式显著缩短求解时间，复杂实例中提升尤为明显。通过细粒度诊断，公式结构更紧凑、稳健，减少了不必要的搜索空间。迁移实验显示，知识蒸馏的公式能在不同问题间快速迁移，验证了模型的泛化能力。整体结果证明，该方法在自动化优化公式设计方面具有突破性潜力。
应用场景
该技术可应用于工业制造、物流调度、金融风险控制等领域的复杂优化问题。只需提供问题描述和模板，即可自动生成高效公式，大幅降低专业依赖。未来，结合自动化决策系统，推动智能制造和智慧城市等应用场景的快速发展。长远来看，该方法有望实现全自动化的优化流程，极大提升企业决策效率。
局限与展望
目前依赖大量求解器统计信息，计算成本较高，限制在大规模或实时场景应用。对某些非线性或特殊约束问题的适应性仍需验证，可能需要调整模型结构。演化过程耗时较长，未来需优化算法效率和并行能力。此外，公式的可解释性和稳定性仍是挑战，需进一步研究结构化表达与验证机制。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，目标是做出既好吃又快的菜。传统上，厨师（专家）会用多年的经验，选择合适的调料和做法，但每次都要试错，费时又不一定成功。现在，有个聪明的机器人（类似大语言模型）可以帮你设计菜谱，但它只知道怎么做菜正确，却不知道哪个菜谱做得快又好。于是，我们让这个机器人不断试验不同的菜谱（演化），每次都根据结果调整，找到最适合的做法。它还会记住以前试过的菜谱，避免重复错误。经过多次尝试，最终它能设计出既快又美味的菜谱，大大节省时间。这就像我们用智能算法帮忙优化复杂的数学问题，让计算变得更快更省力。
简单解释 像给14岁少年讲一样
你知道在学校里做数学题，有时候老师会给你很多不同的解题方法。有些方法很快，但不一定每次都能用；有些方法很慢，但很稳。现在想象你有个超级聪明的哥哥，他会试很多不同的解题方法，看看哪个最快最准。每次他试完后，会告诉你哪个地方慢了，哪个地方可以改进，然后他会用这些经验，下一次试得更快。经过多次尝试，他终于找到了一套超级快的解题套路，比老师教的方法还厉害。这就像论文里的方法，用智能程序不断试验、改进数学公式，让求解变得更快、更聪明。它就像一个会自己学习、不断变强的数学机器人，帮我们解决复杂问题。
原文摘要
Mixed-integer programming (MIP) lies at the core of operations research and industrial optimization. While large language models (LLMs) have recently shown promise in automated MIP modeling from natural language, they prioritize semantic correctness but overlook formulation strength, severely bottlenecking the efficiency of downstream solvers. We propose FormuEvo, an LLM-guided evolutionary framework for automated discovery of solver-efficient MIP formulations. FormuEvo frames MIP formulation design as evolutionary optimization over the symbolic space of MIP formulations, represented as executable modeling programs, by iteratively generating, evaluating, and selecting stronger candidates via LLM-driven crossover, mutation, and repair operations. To move beyond blind exploration, FormuEvo introduces a solver-informed diagnosis mechanism that exploits fine-grained solver statistics as verbal gradients for targeted refinement. Additionally, a structured memory abstracts prior experience into reusable modeling strategies, avoiding redundant exploration while enabling zero-shot transfer to unseen problems and bootstrapping smaller LLMs. Experiments across diverse linear and non-linear problems demonstrate that FormuEvo discovers formulations that significantly outperform both expert-designed formulations and existing LLM-based approaches, accelerating solvers by up to 5.5$\times$, with distilled knowledge transferring effectively across problems and model scales.