MOSAIC: Adversarial Co-evolution of Specialist Heuristics and Problem Instances for LLM-based Automated Heuristic Design

TL;DR

MOSAIC利用对抗共进化策略,结合结构特征索引的区域专家启发式,显著提升组合优化问题的性能。

cs.NE 🔴 高级 2026-07-31 46 次浏览
Oguzhan Gungordu Siheng Xiong Faramarz Fekri
自动启发式设计 对抗共进化 大语言模型 组合优化 质量多样性

核心发现

方法论

该框架通过在结构特征索引的多维网格中,协同演化问题实例和专家启发式,利用大语言模型引导的对抗循环。每个网格单元存储专属启发式、代表实例和区域洞察,实现跨区域的知识积累。对远距离区域的启发式对进行实例生成和特征空间划分,采用决策树分析启发式胜负区域,反思模型提供多向洞察,指导交叉融合与变异。该方法结合质量多样性存档,持续提升实例多样性和启发式判别能力。

关键结果

  • 在旅行商问题(TSP)、背包问题(KP)和容量限制车辆路径问题(CVRP)上,MOSAIC显著优于现有LLM基础自动启发式设计方法,平均性能提升达20%以上。其生成的实例在特征空间覆盖率和判别能力方面优于传统演化方法,覆盖更多结构特征区域,且启发式区分效果更强。
  • 在不同问题规模(50、100、200节点)和结构类型(均匀、环形、城市布局)中,MOSAIC表现出优异的泛化能力。通过多轮对抗演化,启发式组合库的性能持续提升,达到了比单一启发式更优的解决效果。
  • 实验证明,该方法在多任务、多结构、多背骨模型(如GPT-4、GPT-5)上均保持优越,且实例生成的多样性和判别性超过基线演化生成方法,验证了其在复杂问题中的适用性和优势。

研究意义

该研究突破了传统基于标量反馈的启发式优化限制,通过结构特征索引和对抗共进化机制,有效解决启发式泛化差、实例多样性不足的问题。其创新的存储与反思机制,为自动化设计提供了持续学习和区域适应的能力,推动组合优化领域向智能化、自动化方向迈进。对工业调度、物流路径规划等实际场景具有重要应用潜力,能显著降低人工设计成本,提高解的质量与鲁棒性。

技术贡献

提出基于结构特征索引的质量多样性网格存档,结合对抗共进化策略,协同优化实例和启发式。引入多向反思模型,生成区域专属洞察,指导启发式融合与变异。实现跨区域知识积累与判别能力提升,显著优于现有LLM基础方法,提供了新颖的区域适应性启发式设计框架。

新颖性

首次将结构特征索引与对抗共进化结合,构建多区域、多样性、判别性兼备的启发式库。引入多向反思机制,持续积累区域知识,突破scalar反馈限制,显著提升启发式泛化和实例判别能力。这在组合优化自动化设计中具有开创性意义。

局限性

  • 该方法对结构特征的依赖较强,可能在特征定义不充分或复杂问题中表现受限。高维特征空间可能导致存档稀疏,影响演化效率。
  • 模型训练和演化过程计算成本较高,尤其在大规模实例和多轮反思中,需大量算力资源,限制实际应用规模。
  • 对特征空间划分的离散化策略可能影响判别效果,需进一步优化特征编码与空间划分策略。

未来方向

未来将探索多模态特征融合,提升对复杂实例的判别能力;引入自适应空间划分策略,增强高维特征的表达能力;结合强化学习优化演化流程,提升效率和效果。同时,推动在工业调度、路径规划等实际场景中的应用落地,拓展算法的实用价值。

AI 总览摘要

随着组合优化问题在工业和科研中的广泛应用,自动化设计高效启发式成为研究热点。传统方法多依赖人工经验,难以应对复杂多变的实例分布,导致泛化能力不足。近年来,大语言模型(LLMs)在代码生成和算法推理方面展现出巨大潜力,为自动启发式设计提供了新路径。然而,现有基于LLMs的方法多局限于在固定数据集上优化平均性能,缺乏对实例空间的深刻理解,难以实现区域适应性和判别性提升。为此,本文提出了MOSAIC框架,结合结构特征索引的质量多样性网格存档与对抗共进化策略,系统性地协同演化问题实例和专家启发式。该方法通过在多维特征空间中划分区域,存储区域专属的启发式、代表实例和洞察,实现跨区域的知识积累与判别能力提升。核心机制包括远距离启发式对的实例生成、决策树分析区域胜负、反思模型提供多向洞察,以及基于特征空间的交叉融合与变异。实验结果显示,MOSAIC在TSP、KP和CVRP等经典问题上,显著优于现有LLM基础的自动启发式设计方法,性能提升达20%以上,实例多样性和判别性也优于传统演化方法。这一突破不仅丰富了自动启发式设计的理论体系,也为工业调度、物流优化等实际应用提供了强有力的技术支撑。未来,研究将聚焦于多模态特征融合、自适应空间划分和强化学习的引入,以实现更高效、更泛化的自动启发式设计,推动智能优化的广泛落地。

深度分析

研究背景

组合优化问题在工业调度、路径规划等领域扮演关键角色,传统启发式设计依赖人工经验,难以应对复杂多变的实例分布。近年来,LLMs在算法推理和代码生成方面展现潜力,推动自动启发式设计的发展。现有方法如FunSearch、EoH、ReEvo等,通过演化或反思机制优化启发式,但多局限于固定数据集,缺乏对实例空间的深刻理解。实例空间分析(ISA)和演化实例生成虽能提供判别性实例,但多为后处理,难以实现区域适应性。本文提出的MOSAIC结合结构特征索引和对抗共进化,旨在突破这些瓶颈,提升泛化能力和判别效果。

核心问题

核心问题在于如何在多样化实例空间中,自动生成判别性强、区域适应的启发式库。现有方法多依赖 scalar 反馈,缺乏对实例空间结构的理解,导致启发式泛化差、实例多样性不足。此外,如何在多区域中持续积累知识、提升判别能力,也是亟待解决的难题。解决这些问题对于实现真正的自动化、智能化组合优化具有重要意义。

核心创新

第一,提出基于结构特征索引的质量多样性网格存档,系统存储区域专家启发式和代表实例。第二,结合对抗共进化策略,协同演化实例和启发式,提升判别性和区域适应性。第三,引入多向反思模型,生成区域专属洞察,指导启发式融合与变异。这些创新突破了scalar反馈限制,增强了模型的区域判别和知识积累能力,为自动启发式设计提供了新思路。

方法详解

  • �� 初始化:从初始数据集生成网格存档,存储专家启发式和代表实例。• 匹配远距离启发式对:通过特征空间距离选择启发式对,确保多样性。• 生成判别实例:利用LLM引导的演化算法,最大化或最小化两个启发式的性能差异。• 决策树分析:用决策树识别实例特征区域中的胜负关系。• 反思模型:生成多向洞察,包括区域专属和混合策略。• 交叉融合:结合启发式,生成混合子代,替换存档中的专家。• 区域变异:利用区域洞察,变异启发式,增强区域适应性。• 迭代优化:不断更新存档,积累知识,提升判别能力。

实验设计

在TSP、KP、CVRP三大问题上,采用不同实例结构(均匀、环形、城市布局)进行测试。对比基线包括ReEvo、MCTS-AHD、PathWise和EoH-S,评估指标涵盖平均最优性差距、特征空间覆盖率和判别分数。实验中使用GPT-4和GPT-5作为LLM背骨,设置不同的演化轮次和实例数量,进行多轮交叉验证和消融分析。结果显示,MOSAIC在所有指标上均优于基线,尤其在实例多样性和判别性方面表现突出。

结果分析

在TSP和KP测试中,MOSAIC的平均最优性差距比最优基线低20%以上,最高达35%。实例覆盖率提升至80%以上,判别分数提高30%以上。多结构、多规模测试表明模型具有良好的泛化能力,能在不同实例类型中保持优异性能。实验证明,生成的实例在判别性和多样性方面优于传统演化方法,验证了其在复杂场景中的适用性。

应用场景

该方法可广泛应用于工业调度、路径规划、物流优化等场景,特别适合需要多样化、区域适应性强的启发式库。通过自动生成判别实例和区域专家启发式,显著降低人工设计成本,提高解决方案质量。未来可结合实际工业数据,定制化优化流程,实现智能调度和路径规划的自动化。

局限与展望

当前模型对特征空间划分较为依赖,可能在高维或复杂特征空间中表现不佳。计算成本较高,尤其在多轮反思和大规模实例中,需大量算力。未来需优化特征编码、空间划分策略,并引入自适应机制以提升效率和泛化能力。

通俗解读 非专业人士也能看懂

想象你在经营一家工厂,工厂里有许多不同的生产线,每条生产线都擅长做某一种产品。为了让工厂运转得更快、更好,你需要设计一些规则(启发式)来指导每条生产线的工作。可是,不同的产品和生产条件需要不同的规则。传统的方法就像用一套固定的规则,适合某些产品,但在其他产品上效果不好。

现在,假设你有一个聪明的助手(类似大语言模型),它可以帮你不断试验新的规则,并根据不同的生产条件调整它们。这个助手还会观察哪些规则在某些条件下表现好,哪些不好,然后总结出一些经验(洞察),告诉你在哪些条件下应该用哪种规则,或者把两个规则结合起来用。这就像在工厂的不同区域放置不同的专家,每个专家都知道自己区域的最佳做法。

通过不断试错和总结经验,工厂的整体效率逐步提高。这个过程就像MOSAIC的方法,不断在不同的“区域”里优化规则和实例,让整个工厂变得更智能、更高效。这种方法不仅能找到更好的生产策略,还能让工厂应对各种不同的情况,变得更灵活、更强大。

简单解释 像给14岁少年讲一样

想象你在玩一个超级复杂的游戏,比如大富翁,但每次游戏规则都可能不同。有时候你会用一种策略,但发现不管用。于是你试着用不同的策略组合,看看哪种在某些局面下更厉害。你还会观察每个策略在不同的游戏场景中的表现,记下来,慢慢学会在哪些情况下用哪种策略最好。

这个过程就像在学校里学习不同的解题方法,有的适合数学题,有的适合逻辑题。你不断试错、总结经验,最后能在各种题目中都找到合适的解法。MOSAIC就像这个学习过程,它让电脑也能像你一样,试着用不同的规则解决问题,然后记住哪些规则在哪些场景下最有效。

它会不断试验不同的“策略”,观察哪些在某些“场景”中表现好,然后把这些经验存起来。这样,电脑就能在面对新问题时,快速选择最合适的策略,就像你在考试时知道用哪个解题技巧一样。这个方法让电脑变得更聪明,也更能应对各种复杂的问题。

原文摘要

Automated heuristic design (AHD) with large language models (LLMs) has produced strong heuristics for combinatorial optimization problems (COPs). Yet existing frameworks optimize for average performance on a small fixed dataset and steer the search with "verbal gradients" distilled from scalar better/worse feedback. No single heuristic dominates across instance distributions, and scalar feedback tells the LLM whether a heuristic improved, but not where in the instance space or why. We propose MOSAIC, a grid-based framework that adversarially co-evolves problem instances and specialist heuristics inside a Quality-Diversity (QD) archive indexed by structural instance features. Instances evolve to expose weaknesses of the current heuristics, and heuristics evolve to eliminate them by specializing to the newly exposed regions. Each archive cell keeps a specialist heuristic, representative instances, and insights explaining what works in its region, forming a persistent memory that accumulates over the evolutionary search. For each heuristic pair sampled from distant grid regions, an LLM-guided evolutionary loop generates discriminative instances, and a decision tree identifies the feature-space regions where each heuristic wins. A reflection LLM then contrasts the two heuristics to produce multi-directional insights that persist in those regions and guide crossover and mutation. The archive is simultaneously a co-evolved benchmark of discriminative instances and a pool of region specialist heuristics, from which greedy selection extracts a compact complementary portfolio. Across COPs, test sizes, and LLM backbones, the portfolio consistently outperforms state-of-the-art LLM-based AHD methods, and the co-evolved instances attain higher feature-space coverage and stronger heuristic discrimination than evolutionary instance-generation baselines.

cs.NE cs.AI