核心发现
方法论
本文提出EMO-STA(Shared-Then-Adapt)框架,结合演化搜索与大规模语言模型(LLM)生成的程序。首先在任务族范围内进行共享演化,优化一个可复用的程序库,利用群体平均目标促进跨任务结构的捕获。随后通过三种策略(Warmstart、Best-Shared、Best-Local)对每个目标任务进行局部适应,从共享程序库中初始化,逐步优化任务特定的程序。实验在连续优化、几何构造、建模和算法优化八个任务族中验证了其优越性,尤其在低证据场景下表现出良好的泛化能力,减缓过拟合。
关键结果
- 在大部分任务族中,EMO-STA显著优于单任务演化,提升平均性能指标达5-15%。例如,在 Heilbronn三角任务中,性能从0.547提升到0.650(Haiku-4.5模型),在函数最优化中,平均提升约0.058分。共享演化策略在低样本、少数据场景下表现出更强的泛化能力,尤其在ARC和时间序列任务中减少了过拟合风险。
- 不同适应策略表现差异:Best-Local在任务内表现最优,整体稳定性最高;而Best-Shared在未见任务中表现出较强的迁移能力。资源分配实验显示,合理平衡共享与局部适应的计算预算(如60/15/120)能最大化性能提升。
- 实验证明EMO-STA能有效捕获任务间共享结构,提升程序的可迁移性和泛化能力,特别在低证据环境中优于传统单任务演化,验证了其在科学发现和算法设计中的潜力。
研究意义
该研究突破了传统单任务演化的局限,提出多任务共享-适应机制,有效利用任务间结构相似性,提升程序发现效率。其在科学研究、自动算法设计和工业应用中具有重要意义,尤其在数据稀缺或低证据场景中表现出优越的泛化能力,为未来多任务学习和自动化程序生成提供新思路。
技术贡献
核心技术创新在于引入共享程序库的演化机制,结合多策略局部适应,显著提升多任务环境下的搜索效率和泛化能力。提出的EMO-STA框架兼容多种任务族,结合LLM生成的可执行程序,打破传统演化算法对固定表示空间的依赖,提供了可扩展的多任务优化方案。实验验证了其在八个任务族中的优越性,特别是在低数据场景下的抗过拟合能力,展示了其在科学计算和自动程序设计中的潜力。
新颖性
本研究首次系统性提出多任务演化搜索中的共享-适应框架,结合LLM生成的可执行程序,突破了以往仅在固定表示空间内进行多任务优化的限制。引入多策略初始化(Warmstart、Best-Shared、Best-Local)丰富了多任务演化的策略体系,为程序发现提供了更强的结构偏向和迁移能力,显著优于传统单任务方法。
局限性
- 当前方法依赖于任务族的可共享接口设计,若任务差异过大或接口不统一,效果可能受限,需进一步扩展接口适应性。
- 在极端复杂或高维任务中,程序库规模可能膨胀,导致搜索空间变大,计算成本增加,需优化搜索策略。
- 对LLM生成程序的质量依赖较大,若生成的程序不符合预期,可能影响整体性能,未来需结合更强的验证机制。
未来方向
未来将探索更自动化的接口设计与任务族扩展策略,提升多任务适应性。结合强化学习或元学习技术,增强程序的泛化能力和样本效率。同时,考虑多模态输入和复杂任务场景,推动多任务演化在实际工业和科学研究中的应用落地。
AI 总览摘要
随着大规模语言模型(LLM)在程序生成与科学发现中的崛起,如何高效利用多任务结构以提升程序搜索的效率与泛化能力成为关键问题。传统的演化搜索方法多在单任务环境中优化,难以充分挖掘任务间的共享信息,导致资源浪费和泛化不足。
本文提出了EMO-STA(Shared-Then-Adapt)框架,结合演化算法与LLM生成的程序,创新性地在任务族范围内进行共享演化,构建一个可复用的程序库。随后,通过三种策略(Warmstart、Best-Shared、Best-Local)对每个目标任务进行局部适应,从而实现任务特异性优化。这种方法不仅提升了搜索效率,还增强了程序的迁移与泛化能力。
在八个多样化任务族上的实验结果显示,EMO-STA在大部分场景中优于传统单任务演化,尤其在低证据或少样本环境中表现出更强的抗过拟合能力。共享演化策略在资源分配上表现出良好的平衡性,合理分配计算预算(如60/15/120)能最大化性能提升。
该框架的核心创新在于引入多策略初始化机制,结合LLM生成的程序,突破了固定表示空间的限制,为自动程序设计和科学发现提供了新路径。未来,结合强化学习、元学习等技术,EMO-STA有望在更复杂、更大规模的任务中展现更广泛的应用潜力。
深度解读
原文摘要
Recent LLM-guided evolutionary search methods have shown that iterative program mutation can discover strong algorithms, but they typically optimize each task independently, even when related tasks share reusable structure. We introduce Evolutionary Multi-Task Optimization (EMO) for LLM-guided program discovery, and propose EMO-STA (Shared-Then-Adapt), a two-stage framework that first evolves a shared archive of executable programs across a task family and then adapts selected shared candidates to each target task. Within EMO-STA, we explore multiple adaptation strategies, including warm-starting from the shared archive, adapting the best average shared program, and adapting the shared program that performs best on each target task. Across eight task families spanning continuous optimization, geometric construction, modeling, and algorithmic optimization, EMO-STA improves over matched-compute single-task evolution in most settings, with STA Best-Local providing the strongest in-distribution adaptation and STA Best-Shared yielding robust transfer to unseen tasks. Compute-allocation experiments show that allocating a substantial fraction of the family-level budget to shared evolution is consistently beneficial, with roughly balanced shared and adaptation budgets often being optimal. Beyond compute efficiency, we show that shared evolution can mitigate overfitting in low-evidence settings (e.g. few training data), including ARC tasks and time-series feature engineering, by favoring programs that generalize across all tasks rather than exploiting task-specific brittle artifacts.