核心发现
方法论
研究构建了HumanEvo数据集，模拟软件项目的时间演变，采用自动化执行评估工具，结合依赖层级分类，评估7个主流大模型在真实演化环境下的性能。通过回滚仓库状态，确保上下文符合开发时场景，避免未来信息泄露。实验涵盖Python和Java项目，分析模型在不同依赖级别和演化阶段的表现差异。结果显示，传统忽略演化的评估方法高估性能10.0%至61.1%，尤其在复杂依赖场景中差异更大。
关键结果
- 所有模型在演化感知环境中表现显著下降，性能平均降低约30%，验证演化忽略导致的偏差。
- 复杂依赖（如跨类调用）函数的生成成功率比简单场景低14%至30.9%，说明依赖复杂度影响模型能力。
- 随着项目演变，模型在演化忽略设置中的性能逐渐偏离真实水平，表现出明显的时间偏差。
研究意义
本研究强调考虑软件演化过程对代码生成评估的必要性，为未来构建更贴近实际的软件开发环境的基准提供理论基础。揭示了当前评估方法的偏差，推动行业和学术界重新审视模型性能的真实性，为模型优化和应用提供更科学的依据。该工作有助于提升大模型在实际软件维护和开发中的可信度，减少误导性评价带来的风险，推动软件工程与AI技术融合的深入发展。
技术贡献
提出演化感知的仓库级代码生成基准HumanEvo，结合回滚仓库状态、依赖层级分类和自动化执行评估，创新性地模拟真实开发场景。首次系统性量化演化忽略对模型性能的影响，揭示模型在复杂依赖和时间演变中的表现差异。建立多模型对比分析框架，为未来模型优化提供数据支撑。开发共享工具箱，促进社区复现与扩展，为软件工程中的AI评估设立新标杆。
新颖性
首次系统引入演化场景到仓库级代码生成基准，打破以最新版本作为上下文的传统评估模式。创新性地结合仓库回滚、依赖分类和自动化测试，真实模拟软件开发的时间演变过程。此方法显著改善评估的真实性，填补了行业在动态软件环境中性能测评的空白，推动了AI在软件工程中的应用标准化。
局限性
- 目前仅涵盖Python和Java两个语言，未来需扩展到更多语言和复杂场景。
- 依赖层级分类虽丰富，但未考虑多语言混合项目的复杂依赖关系。
- 模型性能在极端演变条件下的表现仍需深入研究，尤其在极端依赖变化或缺失情况下。
未来方向
未来将扩展多语言、多平台的演化场景，结合动态依赖分析与多任务学习，提升模型在复杂软件环境中的适应性。探索更细粒度的时间窗口和版本控制机制，优化回滚策略。推动行业标准制定，结合实际开发流程，构建更全面的评估体系，促进模型在工业界的落地应用。
AI 总览摘要
在当今软件开发中，大模型（LLMs）已成为自动化代码生成的重要工具，但其性能评估仍存在偏差。传统方法多依赖于项目的最新版本上下文，忽视了软件项目随时间演变的动态特性。这种演化忽略的评估方式，导致模型在实际开发场景中的表现被高估，偏离真实情况。为解决这一问题，本文提出了HumanEvo——一种基于软件演化场景的仓库级代码生成基准，模拟项目在不同时间点的状态，确保上下文的真实性。通过回滚仓库到目标函数的提交前状态，结合自动化测试验证，构建了包含400个任务实例的高质量数据集，涵盖Python和Java两大语言。研究采用七个代表性大模型进行评测，发现演化忽略的评估导致性能平均被高估10.0%至61.1%，尤其在复杂依赖场景中差异更大。实验还揭示，随着项目演变，模型性能逐渐偏离实际水平，复杂依赖的函数生成难度更高。该工作强调考虑软件演化对评估的必要性，为未来构建更真实、科学的模型评价体系提供了基础。研究结果对软件工程和AI结合具有深远意义，有助于推动模型在实际开发中的应用落地。未来，计划扩展多语言、多场景的演化模拟，完善评估体系，促进行业标准制定，推动AI在软件开发中的广泛应用。
深度分析
研究背景
软件开发逐渐由传统手工编码向AI辅助转变，近年来大模型在代码生成领域取得突破，如OpenAI的Codex、Google的PaLM-Coder等。早期研究多关注单一任务或代码片段，逐步发展出仓库级评估基准如CoderEval、RepoBench等，旨在模拟真实开发环境。然而，这些方法普遍忽视了软件项目的时间演变特性，导致评估结果偏离实际。随着软件复杂度增加，依赖关系、版本控制、持续集成等因素对模型性能影响日益显著，亟需考虑软件演化过程，提升评估的真实性和实用性。
核心问题
当前大模型代码生成评估多基于静态快照，忽略了软件项目在不同时间点的状态变化。这种演化忽略导致模型在测试时获得的上下文信息不符合实际开发场景，尤其在依赖关系复杂或项目频繁变更时表现出偏差。结果是模型性能被高估，不能真实反映其在维护、升级中的能力。这不仅影响模型的实际应用效果，也阻碍了技术的合理发展和行业采纳。
核心创新
本研究提出HumanEvo基准，首次系统性引入软件演化场景，结合仓库回滚、依赖层级分类和自动化测试验证，模拟项目在不同时间点的状态。创新点包括：1）基于版本回滚确保上下文真实性；2）依赖层级分类分析模型在不同复杂度下的表现；3）自动化执行验证测试，保证任务质量。这些创新提升了评估的真实性和科学性，为模型性能的合理衡量提供了新途径。
方法详解
- �� 选择高质量开源项目，涵盖Python和Java，确保代表性。
- �� 采集大量Pull Request（PR），筛选出合规且经过测试验证的PR，确保功能质量。
- �� 通过仓库回滚到PR提交前状态，确保上下文符合开发时场景。
- �� 自动化执行项目测试框架，验证新增函数的正确性和测试覆盖。
- �� 手动分类函数依赖层级（独立、类内、跨类），以分析复杂度影响。
- �� 人工重写函数的详细和简洁两种类型的docstring，增强多样性。
- �� 使用7个不同大模型（如GPT-4、CodeLlama）进行评测，比较演化感知与忽略设置下的性能差异。
实验设计
实验在400个任务实例上进行，涵盖不同依赖层级和复杂度。模型包括GPT-4、GPT-3.5-Turbo、CodeLlama-7B、DeepSeekCoder-6.7B等。评估指标为准确率、成功率和性能变化。通过对比演化感知与忽略设置，分析模型在不同场景下的表现差异。还进行了依赖复杂度和时间演变的消融实验，验证模型在复杂依赖和时间偏移中的性能变化。实验严格控制环境，确保结果的可靠性和可复现性。
结果分析
所有模型在演化感知环境中的性能明显低于传统评估，平均下降约30%。复杂依赖函数的成功率比简单场景低14%至30.9%，显示依赖关系越复杂，模型越难生成正确代码。性能随时间演变逐渐偏离实际水平，偏差在不同模型中表现一致。演化忽略的偏差在不同依赖层级中差异显著，验证了考虑时间演变的重要性。这些结果强调了真实开发场景中模型性能的复杂性和多样性。
应用场景
该基准适用于模型开发者评估在实际软件维护、升级中的能力，有助于优化模型架构和训练策略。企业可借助HumanEvo检测模型在复杂依赖和时间偏移条件下的表现，提升软件自动化水平。未来还可结合持续集成流程，实时监控模型性能，推动AI辅助软件开发的工业应用。
局限与展望
目前仅覆盖Python和Java，未来需扩展到多语言、多平台。依赖层级分类未考虑多语言混合项目的复杂依赖。模型在极端演变条件下的表现仍需深入研究，尤其在极端依赖变化或缺失情况下。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂每天都在不断变化。新机器被引入，旧机器被拆除，生产线也在调整。你需要不断适应这些变化，才能确保生产顺利进行。类似的，软件项目也在不断变化，代码、依赖关系、功能都在演变。传统的评估方法就像只看工厂的最新状态，忽略了这些变化带来的影响。HumanEvo就像是让你回到过去某个时间点，看看那时的工厂是怎样的，然后测试你的生产能力。这样可以更真实地反映你在实际工作中的表现，而不是只看最新的工厂样子。它帮助我们理解，软件像工厂一样，只有考虑了变化，才能真正评估出模型的能力。
简单解释 像给14岁少年讲一样
想象你在学校参加一个比赛，你的老师让你用不同的材料做一件作品。可是，老师只让你看最后完成的作品，而没有让你知道在制作过程中你用了哪些材料和步骤。这样，你可能会觉得这个作品很厉害，但实际上，你不知道在制作过程中遇到了哪些困难，也不知道你用了哪些特别的材料。现在，如果老师让你回到制作的中间阶段，看看当时用的材料和步骤，你就能更清楚这个作品是怎么做出来的。这个就像HumanEvo，它让我们回到软件开发的不同时间点，看看当时的代码和依赖关系，这样评估模型的能力才会更真实、更公平。否则，只看最后的结果，就像只看最后的作品，可能会误导我们对过程的理解。
原文摘要
To evaluate the repository-level code generation capabilities of Large Language Models (LLMs) in complex real-world software development scenarios, many evaluation methods have been developed. These methods typically leverage contextual code from the latest version of a project to assist LLMs in accurately generating the desired function. However, such evaluation methods fail to consider the dynamic evolution of software projects over time, which we refer to as evolution-ignored settings. This in turn results in inaccurate evaluation of LLMs' performance. In this paper, we conduct an empirical study to deeply understand LLMs' code generation performance within settings that reflect the evolution nature of software development. To achieve this, we first construct an evolution-aware repository-level code generation dataset, namely HumanEvo, equipped with an automated execution-based evaluation tool. Second, we manually categorize HumanEvo according to dependency levels to more comprehensively analyze the model's performance in generating functions with different dependency levels. Third, we conduct extensive experiments on HumanEvo with seven representative and diverse LLMs to verify the effectiveness of the proposed benchmark. We obtain several important findings through our experimental study. For example, we find that previous evolution-ignored evaluation methods result in inflated performance of LLMs, with performance overestimations ranging from 10.0% to 61.1% under different context acquisition methods, compared to the evolution-aware evaluation approach. Based on the findings, we give actionable suggestions for more realistic evaluation of LLMs on code generation. We also build a shared evolution-aware code generation toolbox to facilitate future research.