核心发现
方法论
采用2,269个真实多轮代码评审任务，结合细粒度缺陷信息和状态标签，构建多阶段数据采集与缺陷标注流程。通过引入缺陷生命周期状态追踪，评估主流大模型在缺陷检测和状态追踪中的表现。实验涵盖五种编程语言，分析模型在不同轮次、缺陷类型和严重程度上的性能变化，结合误差分析揭示模型在跨轮次记忆和时间对齐方面的不足。
关键结果
- 主流LLMs在缺陷检测和生命周期追踪方面表现有限，整体准确率低于60%，且随着轮次增加性能显著下降，反映出模型在长序列记忆和状态保持上的不足。
- 模型在复杂语义缺陷和低显著性缺陷上表现差异显著，漏检率高达30%以上，尤其在多轮交互中表现出明显的性能退化。
- 误差分析指出，模型在跨轮次的时间对齐和缺陷遗忘方面存在关键缺陷，导致假阳性和假阴性率高，揭示模型在动态缺陷演变理解上的局限。
研究意义
该研究填补了多轮、动态缺陷追踪评估的空白，为自动化代码评审提供更贴近实际的基准。通过详细的缺陷生命周期建模，推动LLMs在复杂交互场景中的应用，解决传统静态评估无法反映真实开发流程的问题。这对于提升软件质量保障的自动化水平具有重要意义，特别是在工业界对高效、可靠代码审查的迫切需求下，提供了科学的评估工具和理论基础。
技术贡献
首次引入缺陷状态感知的多轮代码评审基准，结合细粒度缺陷标签和生命周期追踪机制，支持跨轮次缺陷识别与状态维护。设计了多阶段自动化数据采集与标注流程，利用LLMs进行缺陷检测和状态预测，结合人工验证确保数据质量。系统性分析模型在多轮环境中的表现差异，揭示其在长序列记忆和时间对齐方面的技术瓶颈，为未来模型优化提供方向。
新颖性
本研究首次系统性建立支持多轮交互的缺陷状态感知基准，突破了以往静态、单轮评估的限制。引入生命周期状态追踪机制，结合真实多轮评审数据，全面评估模型在动态环境中的能力，显著区别于现有仅关注静态缺陷检测的工作。创新的数据采集流程和多语言覆盖，为行业提供了具有代表性的评估平台。
局限性
- 模型在长轮次、多缺陷场景下表现仍有限，性能下降明显，主要由于跨轮次记忆不足和时间对齐困难。
- 数据采集依赖人工验证，存在一定的人为偏差，未来需引入更自动化的验证机制以提升规模和一致性。
- 目前只涵盖五种主流语言，未来应扩展到更多领域和语言，增强泛化能力。
未来方向
未来将结合增强记忆机制和时间建模技术，提升模型在多轮环境中的表现。探索多模态信息融合，丰富缺陷描述与上下文理解。推动跨平台、多语言的评估体系，增强实际应用的适应性。此外，结合强化学习等技术优化模型的缺陷生命周期管理能力，推动工业界的实际部署。
AI 总览摘要
在现代软件开发中，代码评审作为保障软件质量的关键环节，依赖于开发者与评审者的多轮互动以识别和修复缺陷。然而，现有自动化工具多局限于静态单轮评估，无法充分反映真实场景中的动态缺陷演变。为此，本文提出了MCR-Bench，一套支持多轮缺陷状态追踪的真实代码评审基准，涵盖五种主流编程语言，包含2269个真实多轮评审任务。该基准通过细粒度缺陷标签和生命周期状态标注，模拟实际开发中的缺陷演变过程，极大提升评估的真实性和实用性。实验结果显示，主流大模型在缺陷检测和状态追踪方面表现有限，准确率不足60%，且随轮次增加性能显著下降，反映出模型在长序列记忆和时间对齐上的不足。分析进一步揭示了模型在复杂语义缺陷和低显著性缺陷上的漏检问题，以及跨轮次记忆缺失导致的误判。该研究不仅为自动化代码评审提供了科学的评估工具，也为未来模型优化指明了方向。未来工作将聚焦于增强模型记忆能力、引入多模态信息融合，以及扩展多语言、多场景应用，推动工业界的智能代码审查迈向更高水平。
深度分析
研究背景
随着软件复杂度不断提升，代码评审逐渐成为保障软件质量的核心环节。传统方法依赖人工评审，成本高、效率低，难以满足大规模开发需求。近年来，大模型（如CodeBERT、GPT-4）在代码理解和自动化评审中展现潜力，但大多集中于静态、单轮任务，忽视多轮交互和缺陷演变的复杂性。现有基准（如CodeReview、SWR-Bench）多关注静态差异或单轮反馈，未能充分模拟真实开发场景中的动态缺陷追踪。行业实践表明，近一半的代码变更涉及多轮评审，缺陷状态随时间演变，影响修复效果。缺陷生命周期管理成为提升自动化评审可信度的关键，但缺乏系统性评估工具，限制了模型的实际应用。
核心问题
当前自动化评审模型主要在静态或单轮场景下训练和评估，无法应对多轮交互中的缺陷状态变化。缺陷在多轮评审中不断演变，模型缺乏跨轮次记忆和时间对齐能力，导致漏检、误判频发。这限制了模型在实际工业环境中的应用效果，尤其在复杂项目中表现不佳。解决这一问题需要构建支持多轮缺陷状态追踪的评估基准，模拟真实评审流程，评估模型在缺陷识别、状态维护和演变理解上的能力。
核心创新
本文提出的MCR-Bench创新点在于引入缺陷生命周期状态追踪机制，结合多轮评审数据，支持模型在动态环境中的性能评估。具体创新包括：
- �� 多语言覆盖：涵盖Python、Java、JavaScript、TypeScript、C#，满足不同开发场景需求。
- �� 细粒度缺陷标注：包括缺陷描述、位置、严重程度，支持多维度性能分析。
- �� 生命周期追踪：记录缺陷在不同轮次的状态变化（如新建、开放、已解决、重开），模拟实际缺陷演变过程。
- �� 自动化数据采集：结合LLMs进行缺陷检测与状态预测，辅以人工验证确保数据质量。
- �� 多阶段流程：从仓库筛选、PR采集到缺陷标注，形成完整闭环，提升数据可靠性。
方法详解
- �� 选择五大主流语言及高质量仓库，确保数据代表性。
- �� 采集满足多轮交互条件的PR，筛除自动化机器人和低质量数据。
- �� 利用SZZ-2算法检测潜在缺陷，过滤掉引入新缺陷的PR。
- �� 设计多阶段缺陷标注流程：先局部检测候选缺陷，再跨轮次合并追踪。
- �� 采用LLMs进行缺陷检测和生命周期状态预测，结合人工交叉验证。
- �� 构建缺陷卡片，详细记录缺陷描述、位置、状态和严重程度。
- �� 最终形成支持多轮、多语言、多场景的评估数据集。
实验设计
在涵盖五种语言的2269个真实多轮评审任务上，评估了GPT-4、CodeX、PaLM等模型的缺陷检测和状态追踪能力。指标包括准确率、漏检率、误判率，分析模型在不同轮次和缺陷类型上的表现差异。采用交叉验证和消融实验，验证模型在长序列记忆和时间对齐方面的不足。还结合人工分析，识别模型在复杂语义和低显著性缺陷上的漏检原因。实验结果显示，模型在多轮场景中表现有限，性能逐轮下降，揭示了模型在动态缺陷演变理解上的关键瓶颈。
结果分析
模型整体缺陷检测准确率低于60%，在多轮交互中性能显著下降，尤其在第3轮后漏检率升至30%以上。复杂语义和低显著性缺陷的漏检率高达35%，远高于简单缺陷的15%。误差分析表明，模型在跨轮次的时间对齐和缺陷遗忘方面存在明显缺陷，导致假阳性和假阴性比例升高。这些结果强调了模型在动态环境下的局限性，也为未来优化提供了明确方向。
应用场景
该基准适用于自动化代码评审工具的性能评估，帮助开发者理解模型在多轮交互中的表现。可应用于工业界的持续集成流程中，用于检测多轮评审中的缺陷演变和状态变化，提升自动化评审的可信度。未来，结合该评估体系，可以开发更具记忆和推理能力的模型，推动智能代码审查在大规模软件开发中的应用。
局限与展望
当前模型在多轮长序列中表现不足，主要受限于记忆容量和时间对齐机制。数据采集依赖人工验证，存在偏差，未来需引入自动化验证技术。仅涵盖五种语言，尚未覆盖所有行业场景。模型计算成本较高，实际部署仍面临挑战。未来需优化模型结构，提升多轮长序列处理能力。
通俗解读 非专业人士也能看懂
想象你在学校里参加一个作文比赛，老师会不断给你反馈，你不断修改作文，然后老师又给你新的建议。每次修改都可能改变作文的内容和重点。传统的自动作文评分系统就像只看你第一次提交的作文，不能理解你在多次修改中的变化。而这个研究就像让系统能记住你每次修改的内容，理解你是怎么一步步改好的。它通过模拟真实的作文评审过程，帮助评估自动评分系统是否能像人一样理解整个修改过程。这样一来，系统不仅能指出你作文中的错误，还能理解你在多次修改中如何逐步改进，最终让评分更贴近真实水平。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，每次你完成任务后，游戏会记住你的表现，然后给你新的挑战。每次挑战都可能因为你之前的表现而变化。传统的自动评分系统就像只看你第一次玩游戏的成绩，忽略了你之后的努力和变化。而这项研究开发了一个能记住你每次玩游戏的过程的系统，它可以追踪你每次的表现，知道你什么时候变得更厉害，什么时候还需要练习。这个系统就像一个聪明的教练，能帮你更好地理解自己在游戏中的成长，也能帮助开发者设计更聪明的游戏规则。它让自动评分变得更像人类教练一样，能理解你整个学习和进步的过程，而不是只看一次成绩。
原文摘要
In real-world software development, code review typically involves iterative interactions between developers and reviewers to improve software quality, making the process costly and time-consuming. Although recent work explores large language models (LLMs) for automated code review, most approaches oversimplify code review into a single-round, static decision task, which fails to capture the multi-round interactive nature and the complex problem-solving processes inherent in realistic review scenarios. To bridge this gap, we introduce MCR-Bench, the first defect state-aware benchmark designed for realistic multi-round code review. MCR-Bench covers five commonly-used programming languages and consists of 2,269 real-world multi-round code review tasks, each of which is annotated with fine-grained defect information and cross-round state labels. Each task in MCR-Bench is equipped with fine-grained defect metadata (e.g., description, type, severity) alongside dynamic state annotations, capturing the complete evolutionary trajectory of a defect throughout the multi-round process. We obtain several findings through extensive experiments on MCR-Bench with mainstream LLMs. (1) Limited overall capability: experiments reveal that mainstream LLMs exhibit limited overall performance in defect detection and defect lifecycle state tracking, with performance degrading significantly as the number of interaction rounds increases; (2) Defect-sensitive performance: LLMs' performance varies substantially across different defect types and severity levels, with semantically complex or low-salience defects being significantly more likely to be missed; (3) Underlying Failure Mechanisms: our in-depth error analysis dissects the distinct drivers of false positives and false negatives, revealing critical weaknesses such as cross-round temporal misalignment and inadequate long-range memory.