核心发现
方法论
TEBench采用四阶段过滤流程，基于Defects4J项目，涵盖314个任务实例，标注三类演化类型：Test-Breaking、Test-Stale和Test-Missing。系统需自主识别受影响测试、定位新增测试需求并生成修复补丁。评估七种配置，涵盖三大工业代理框架（Claude Code、Codex CLI、OpenCode）及六个基础模型，采用F1指标衡量识别效果，平均在45.7%-49.4%。测试Stale最难，F1约36%，因依赖执行失败信号，缺乏语义推理。更新任务中，生成的测试补丁具备高可执行性，但表面形式与人工Ground Truth差异显著。轨迹分析显示“执行-失败-修复”循环，能解决Test-Breaking，但难以应对Stale和Missing类型。
关键结果
- 所有配置识别F1在45.7%-49.4%之间，表现存在共同天花板，反映任务难度。Test-Stale平均F1约36%，因缺乏语义推理能力。生成的测试补丁高度可执行，但与Ground Truth在表面形式上差异大。结构依赖分析的召回率约66%，仍有三分之一的受影响测试未被检测到。模型在识别和更新两个维度上均表现出局限，揭示当前技术在复杂项目级测试演化中的瓶颈。
研究意义
该研究突破了以往仅关注方法级别的测试演化评估，提出项目级别的全局视角，更贴近实际软件开发中的复杂场景。通过引入三类演化类型，全面覆盖测试的失效、过时和缺失问题，为自动化测试维护提供了新的评估标准。基于大规模真实项目数据，验证了现有大模型在复杂任务中的性能瓶颈，推动了自动化测试和代码理解技术的融合发展。该基准有助于推动未来更智能、更全面的测试演化系统研发，提升软件质量保障能力。
技术贡献
首次提出项目级测试演化任务，突破传统方法的局限，强调自主识别和全局定位能力。构建涵盖三类演化类型的高质量数据集TEBench，结合多模型、多框架的系统评估，揭示了当前模型在复杂场景中的性能瓶颈。提出基于全局项目信息的识别与修复策略，为未来大模型在软件工程中的应用提供了理论基础。引入多维度评价指标，系统衡量识别准确性和修复质量，为后续算法优化提供指导。
新颖性
首次将测试演化任务从方法级扩展到项目级，强调自主识别受影响测试和新测试生成，弥补现有基准的局限。引入三类演化类型，丰富了测试演化的分类体系。结合真实开源项目，构建大规模高质量数据集，推动了自动化测试的研究前沿。采用多模型、多框架的系统评估，揭示了现有大模型在复杂任务中的性能瓶颈，具有重要的理论和实践意义。
局限性
- 模型在识别Stale和Missing测试方面表现不足，主要原因是缺乏主动语义推理能力，依赖执行失败信号，难以捕捉潜在的语义变化。
- 当前评估仅基于静态分析和执行信号，未充分利用代码语义信息，导致部分测试未被检测到。
- 生成的测试补丁在表面形式上与人工Ground Truth存在较大差异，说明模型在理解测试意图方面仍有较大提升空间。
未来方向
未来将结合更强的语义理解模型，提升对Stale和Missing测试的识别能力。探索多模态信息融合，如代码语义、历史变更等，以增强模型推理能力。计划扩展到多语言、多平台项目，提升泛化能力。同时，结合用户反馈机制，优化测试生成的实用性和可维护性。
AI 总览摘要
软件系统的持续演化带来了测试套件的同步更新难题。传统方法多局限于方法级别，难以应对复杂的项目级测试演化场景。本文提出TEBench，首个面向项目级别的测试演化基准，涵盖314个真实任务实例，标注三类演化类型：Test-Breaking、Test-Stale和Test-Missing。系统需自主识别受影响测试、定位新增测试需求并生成修复补丁。通过多模型、多框架的评估，发现模型在识别和修复方面存在性能瓶颈，平均F1在45.7%-49.4%，Test-Stale尤为困难，F1约36%。分析显示，模型主要依赖执行失败信号，缺乏主动语义推理能力，难以捕获潜在的语义变化。实验结果揭示了当前自动化测试维护的挑战，也为未来模型的优化提供了方向。TEBench的构建不仅丰富了测试演化的研究体系，也推动了自动化测试技术的实际应用。未来，将结合更深层次的语义理解和多模态信息，提升系统的智能化水平，助力软件开发的质量保障。
深度解读
原文摘要
As production code evolves, the test suite must co-evolve to remain effective. Existing benchmarks for test evolution operate at method-level granularity with pre-paired inputs, bypassing the task of locating affected tests from the full project and excluding the need for new tests entirely. We present TEBench, the first project-level benchmark for test evolution. Given a project repository and a code-changing commit, TEBench requires systems to autonomously identify tests requiring modification, determine where new tests are needed, and produce the corresponding test patch. We construct TEBench through a four-stage pipeline over Defects4J projects, curating 314 task instances from 10 projects with developer-written ground truth. Each instance is annotated with one or more of three evolution types: Test-Breaking (tests that fail), Test-Stale (tests that pass but no longer meaningfully validate updated behavior), and Test-Missing (new tests needed for introduced behavior). We evaluate seven configurations spanning three industrial agent frameworks (Claude Code, Codex CLI, OpenCode) and six base models, alongside a heuristic baseline. All seven configurations converge on an identification F1 of 45.7% to 49.4%, revealing a shared performance ceiling across both frameworks and base models. Test-Stale is the most challenging type, averaging F1 around 36%, since configurations rely on execution failure signals and lack proactive semantic reasoning. On the update task, configurations produce highly executable test modifications whose surface form diverges substantially from ground truth. Trajectory analysis reveals a reactive "execute-fail-fix" loop that succeeds for breaking tests but structurally cannot address stale or missing tests. TEBench is available at https://github.com/iSEngLab/TEBench with a leaderboard at https://tebench-leadership.vercel.app.