核心发现
方法论
本文提出基于方案中心的演化框架，利用结构化变异对参考解决方案进行演化，自动生成难度更高的编程任务。通过在解决方案空间中操作，确保任务的可执行语义一致性。采用多轮筛选机制，结合模型在目标任务上的表现，动态调整任务难度。该方法在LiveCodeBench和SciCode上验证，生成的任务在保持正确性和多样性的同时，显著降低模型的Pass@1成功率，提升判别能力。框架包括变异器、验证器和记忆模块，形成闭环优化流程。
关键结果
- 在LiveCodeBench-v6中，BenchEvolver将原有任务难度提升，模型Pass@1从最高99%降至27.5%-62.6%，显著增强模型区分能力。
- 在SciCode中，演化任务的难度也大幅增加，验证了方法的跨域适用性。通过RL训练，gpt-oss-20b在演化任务上的性能提升达8.7和8.3点，超越纯种子训练70.7%和34.8%的增益。
- 相较于传统的任务生成方法，方案演化确保了任务的可验证性和多样性，且模型自身难以解决的任务促进了自我改进。
研究意义
该框架解决了评估基准饱和导致的判别能力下降问题，为模型提供了持续的挑战和训练信号。通过自动化生成高质量难题，突破了人工构建的瓶颈，推动大模型的持续提升。其自我挑战机制也为模型自我改进提供了新路径，具有重要的学术和工业价值。
技术贡献
提出方案演化的核心思想，突破以往仅在指令层面生成任务的限制，直接演化完整可执行的任务组件。引入多轮筛选和记忆机制，结合模型在目标任务上的表现，动态调整任务难度，确保生成任务的有效性和多样性。实现了可验证、可扩展的自动任务生成流程，为模型自我提升提供了新工具。
新颖性
首次提出基于方案空间的演化策略，用参考解决方案直接引导任务难度提升，区别于传统基于指令或文本的任务合成。通过在解决方案层面操作，确保任务的可执行性和正确性，开创了自动化高难度任务生成的新思路。
局限性
- 当前方法依赖于目标模型的评估能力，若模型本身存在偏差或盲点，可能导致任务难度评估偏差。
- 演化过程计算成本较高，尤其在大规模任务和高难度目标模型下，资源消耗显著。
- 对某些复杂领域（如科学计算），验证机制仍需改进以确保任务的科学合理性。
未来方向
未来将探索多模态任务的演化，结合图像、视频等多模态信息，丰富任务类型。还将优化演化算法的效率，结合强化学习实现更智能的难度调节。此外，计划将该框架应用于实际工业场景，如自动代码生成和智能教育，推动模型的自主学习和自我提升。
AI 总览摘要
随着大规模语言模型的快速发展，现有评测基准逐渐饱和，难以区分模型性能。LiveCodeBench等平台中，最先进模型在简单任务上成功率超过99%，在复杂任务中也达到了90%以上，严重削弱了评估的判别能力。为了突破这一瓶颈，本文提出了BenchEvolver，一种方案中心的演化框架，旨在自动生成更具挑战性的编程任务。
该方法以参考解决方案为起点，通过结构化变异不断演化出更难的任务。不同于传统的指令生成，BenchEvolver在解决方案层面操作，确保任务的可执行语义一致性。演化过程中，利用多轮筛选机制，结合模型在目标任务上的表现，动态调整任务难度，形成闭环优化流程。实验结果显示，在LiveCodeBench和SciCode中，演化任务大幅降低模型成功率，显著提升判别能力。特别是在结合强化学习后，模型在演化任务上的性能提升达8.7点，验证了演化任务作为训练信号的有效性。
该框架不仅解决了评估饱和问题，还为模型的持续自我提升提供了新途径。通过自动化生成高质量、多样化的难题，突破了人工构建的限制，推动了大模型的持续发展。未来，计划扩展多模态任务演化，优化算法效率，并应用于实际工业场景，助力自动代码生成和智能教育。整体而言，BenchEvolver为模型评估与自我改进开辟了新天地，具有深远的学术与产业意义。
深度分析
研究背景
近年来，随着大规模预训练模型如GPT系列、Codex的崛起，代码理解与生成任务成为研究热点。早期工作如CodeSearchNet、HumanEval提供了基础评估平台，但随着模型性能提升，基准逐渐饱和，难以区分不同模型的能力。为应对这一挑战，研究者开始探索合成数据、对抗训练和演化算法等方法，旨在生成更具挑战性的任务。尽管如此，现有方法多依赖人工设计或指令级别的合成，缺乏对任务完整性和可验证性的保障。本文的创新点在于方案空间的直接演化，确保任务的可执行性和多样性，为模型持续自我挑战提供了新工具。
核心问题
当前评估基准饱和导致模型性能难以区分，限制了模型改进的空间。人工构建难题成本高、难以规模化，自动生成任务面临验证难题。如何在保证任务正确性和多样性的同时，自动提升任务难度，成为关键难题。尤其是在模型自我改进场景中，生成的任务必须能反映模型的真实弱点，否则无法推动性能提升。
核心创新
核心创新在于方案空间的直接演化，利用参考解决方案进行变异，确保任务的可执行性。引入多轮筛选机制，结合模型在目标任务上的表现，动态调节任务难度。区别于传统指令生成，方案演化保证了任务的逻辑严密和验证可行性。记忆模块的引入增强了搜索效率和多样性，形成闭环优化流程。这一方法突破了以往仅在指令层面合成任务的局限，为模型自我挑战提供了新路径。
方法详解
- �� 以参考解决方案为基础，进行结构化变异，生成新方案；
- �� 从变异方案中推导任务描述、测试用例，确保语义一致；
- �� 利用多轮筛选，结合目标模型在任务上的表现，筛除不难或无效任务；
- �� 引入记忆机制，记录成功与失败的变异路径，指导后续搜索；
- �� 通过验证机制确保任务的正确性和可执行性；
- �� 采用多模型评估，动态调节任务难度，形成闭环优化流程。
实验设计
在LiveCodeBench和SciCode两个领域中，采用不同难度级别的种子任务，利用多种演化模型（如gpt-4o、Gemini-3-Flash）进行演化。评估指标包括任务有效性、模型成功率变化和多样性。通过对比传统任务生成方法，验证演化任务的难度提升和判别能力增强。还结合强化学习，验证演化任务对模型性能提升的促进作用。实验中还进行了算法类别分析，显示演化任务涵盖更丰富的算法结构。
结果分析
演化任务显著降低模型Pass@1成功率，从99%降至27.5%-62.6%，增强了模型区分能力。RL训练在演化任务上提升了模型性能，达8.7点，超越纯种子训练70.7%。多样性分析显示，演化任务引入了更多复杂算法类别，拓宽了模型的挑战面。验证机制确保任务的有效性和正确性，演化过程稳定可靠。
应用场景
该方法可广泛应用于自动代码评估、模型自我提升、智能教育和自动化测试等场景。通过自动生成高难度任务，帮助模型识别弱点，提升整体性能。未来还可结合多模态信息，扩展到科学计算、图像理解等领域，推动AI自主学习和持续改进。
局限与展望
目前依赖目标模型的评估能力，模型偏差可能影响难度判断。演化过程计算成本较高，尤其在大规模任务中资源消耗大。对某些复杂科学任务，验证机制仍需优化，确保科学合理性。未来需提升效率和验证机制的鲁棒性，拓展应用范围。
通俗解读 非专业人士也能看懂
想象你在做一道难题，比如拼装一个复杂的模型。最开始你用一种方法拼装，结果发现还不够稳固。于是你尝试改进方案，比如换用更坚固的材料或不同的拼装方式。每次改进后，你会测试一下，看它是不是更稳。这个过程不断重复，直到模型变得更难被破坏。这个方法就像让AI自己不断改进任务，让它变得更难解决，从而让模型变得更聪明。它不是从零开始设计新题，而是用已有的解决方案，逐步变得更难，确保每个新题都合理、挑战性强。这就像你在游戏中不断升级关卡，让自己变得更厉害。
简单解释 像给14岁少年讲一样
想象你在玩一个拼图游戏，一开始的拼图比较简单，你很快就拼好了。可是你觉得还可以更难一些，于是你用自己拼好的拼图作为基础，试着用不同的拼法，把它变得更复杂。每次你都试着拼出一个更难的版本，然后测试一下自己能不能拼出来。这样一来，你的拼图就变得越来越难，自己也变得更厉害。这个过程就像让AI自己设计更难的任务，让它不断挑战自己，变得更聪明。它不是从头开始设计新题，而是用自己已有的拼图，逐步变得更难，确保每个新题都合理、具有挑战性。这就像你在游戏中不断升级关卡，让自己变得更厉害。
原文摘要
The rapid progress of frontier large language models has led to widespread benchmark saturation, limiting the ability of existing datasets to differentiate model capabilities or provide useful training signal. For instance, on LiveCodeBench, frontier models achieve over 99% Pass@1 on easy splits and exceed 90% Pass@1 on average across difficulty levels. Constructing new, challenging datasets typically requires substantial human effort, creating a bottleneck for progress. We introduce BenchEvolver, a solution-centric evolutionary framework that automatically transforms existing coding problems into harder variants. Rather than generating problems from scratch, BenchEvolver evolves reference solutions through structured transformations and derives corresponding statements and tests from the evolved solutions. This design grounds generation in executable semantics, enabling scalable construction of high-quality, diverse, and difficult tasks with verifiable correctness. Applying BenchEvolver to LiveCodeBench and SciCode, we obtain evolved tasks that are substantially harder while maintaining validity, reference correctness, and diversity. We further curate LiveCodeBench-Plus, a 91-problem benchmark combining evolved and difficult original LCB-v6 tasks, where frontier-model Pass@1 ranges from 27.5% to 62.6%, restoring clear discrimination among strong coding models. Importantly, evolved tasks remain challenging even for the model that generates them, enabling self-improvement. We further show that RL on evolved LCB tasks improves held-out coding performance: for gpt-oss-20b, seed+evolved training achieves +8.7 and +8.3 Pass@1 gains on LCB v6 Hard and LCB-Pro Easy, exceeding seed-only gains by 70.7% and 34.8%, respectively. Our results show that BenchEvolver can convert saturated benchmarks into frontier-level evaluation suites and reusable training signal.