CodeCriticBench: A Holistic Code Critique Benchmark for Large Language Models
提出CodeCriticBench，涵盖代码生成与问答，结合基础与细粒度评估，提升LLMs代码批评能力。
核心发现
方法论
该研究构建了一个包括4,300个样本的全方位代码批评基准，涵盖代码生成与问答任务。采用多层次评估策略，包括基础的正确性判定和细粒度的多维评分，结合专家与模型评估，利用线性回归校准模型得分。数据采集结合算法题库、StackOverflow和自动生成，难度划分依据多模型正确率。评估指标涵盖准确率（ACC）、均方误差（MSE）和Pass@1，确保多角度衡量模型批评能力。
关键结果
- 在38个不同的LLMs中，模型参数越大，批评准确率（ACC）越高，最大达75.30%；深度学习模型在细粒度评估中表现优异，Claude-3.5-Sonnet在代码问答任务中MSE仅为1.02。
- 模型在不同难度级别表现差异显著，易难度样本ACC超过90%，而困难样本平均仅30%左右，显示模型在复杂场景下仍有提升空间。
- 大模型在错误类型识别上表现优越，参数越多，正确率越高，尤其在常见错误类型如引用错误和性能问题上表现突出。
研究意义
该基准填补了现有代码评测在多维度和细粒度方面的空白，为评估大模型的代码理解与批评能力提供了标准工具。推动模型在自动代码审查、智能辅导等实际应用中的性能提升，具有重要的学术和工业价值。通过系统性评估，揭示模型规模与性能关系，为未来模型设计提供指导，有助于实现更智能、更可靠的自动化编程辅助系统。
技术贡献
本研究首次提出涵盖代码生成与问答的全方位批评基准，结合基础与细粒度评估体系，设计了多维评分指标。引入模型校准机制，提升评估的客观性与一致性。通过大规模模型评测，验证了模型规模与批评能力的正相关关系，丰富了模型规模与性能关系的理论基础。创新在于多层次、多角度的评估框架，为后续研究提供了可复制、可扩展的评测方案。
新颖性
不同于以往仅关注代码正确性或单一任务的评测，CodeCriticBench实现了多任务、多维度的全面评估，结合专家与模型评分，采用细粒度评分体系，首次系统性衡量大模型的代码批评能力，具有较强的创新性。
局限性
- 当前评测主要基于静态代码样本，未充分考虑动态执行中的错误检测与修复能力。
- 模型校准依赖线性回归，可能在极端样本或特殊错误类型下存在偏差。
- 评估指标虽多，但仍难完全覆盖模型在实际开发环境中的所有批评场景，未来需引入更多实际应用场景的测试。
未来方向
未来将扩展多模态代码评测，结合动态执行信息，提升评估的全面性；引入强化学习机制，优化模型的批评策略；同时，探索跨任务、多语言、多平台的评估体系，以推动大模型在软件工程中的实际应用落地。
AI 总览摘要
随着大规模语言模型（LLMs）在代码理解与生成方面的快速发展，评估其批评能力成为提升模型实用性的重要环节。现有基准多聚焦于推理任务，缺少对代码任务的系统性衡量，且多偏重于正确性检测，忽视模型提供深度分析和改进建议的能力。为此，本文提出了CodeCriticBench，一套涵盖代码生成与问答任务的全方位评测体系。
该基准包括4,300个样本，覆盖不同难度等级，结合专家与模型的多轮评估，采用多维评分指标，确保评估的细粒度与客观性。通过基础的正确性判定和细粒度的多维评分，模型在不同任务和场景下的批评能力得到了全面衡量。
实验结果显示，模型参数规模与批评性能呈正相关，最大达75.30%的准确率，深度模型在错误识别和细粒度评分方面表现优异。研究还发现，模型在易难度样本上表现优越，但在复杂场景中仍有较大提升空间。
该工作不仅丰富了代码任务的评测工具，也为模型的优化提供了量化依据。未来，将结合动态执行信息和多模态数据，推动模型在实际软件开发中的应用，助力自动化代码审查与智能辅导的落地。整体而言，CodeCriticBench为推动大模型在代码理解与批评领域的研究提供了坚实基础。
深度分析
研究背景
近年来，随着Transformer架构的引入，LLMs在自然语言处理和代码生成领域取得了突破性进展。OpenAI的GPT系列、Meta的LLaMA、以及专门针对代码的CodeLlama和StarCoder等模型，展现出强大的理解与生成能力。早期工作如Humaneval和MBPP提供了基础的代码生成测试集，但主要关注正确性，缺乏对模型批评能力的系统评估。CriticBench等基准开始关注模型的批评能力，但多局限于单一任务或维度，未能全面衡量模型在复杂场景中的表现。随着模型规模不断扩大，评估其深度理解和分析能力成为新挑战。现有研究多强调模型的生成质量，少有系统性评估模型在代码审查、错误诊断、改进建议等方面的能力，限制了模型在实际软件开发中的应用潜力。
核心问题
当前大模型在代码理解与批评方面仍存在不足，主要表现为：缺乏多维度、细粒度的评估体系，难以全面衡量模型的深度分析和改进建议能力；现有基准多偏重于正确性检测，忽略模型的解释和建议能力；此外，缺少涵盖不同任务、难度和场景的统一评测框架。这些问题限制了模型在自动代码审查、智能辅导等实际场景中的应用效果，也阻碍了模型优化的方向明确化。解决这些瓶颈，亟需构建一个多任务、多维度、细粒度的评测体系，系统性衡量模型的批评能力，为模型的改进提供科学依据。
核心创新
本研究的核心创新在于：
- �� 首次提出涵盖代码生成与问答的全方位批评基准，结合基础正确性和细粒度多维评分体系。
- �� 设计了多层次评估策略，包括模型的基本正确性判定和细粒度的多维评分，结合专家与模型的评分，确保评估的全面性与客观性。
- �� 引入模型校准机制，通过线性回归校正模型评分，提升评估结果的稳定性与一致性。
- �� 大规模评测38个不同的LLMs，验证模型规模与批评能力的正相关关系，为模型设计提供理论支持。
方法详解
- �� 数据采集：结合算法题库（CodeForces、MBPP、LiveCodeBench）和StackOverflow，自动生成与筛选样本，确保多样性与质量。
- �� 样本难度划分：利用12个先进模型的正确率，将样本划分为Easy（>80%正确）、Medium（60-80%）、Hard（<60%）三类。
- �� 任务设计：涵盖代码生成（带测试用例验证正确性）与代码问答（由人工评估正确性）两个任务。
- �� 评估指标：采用准确率（ACC）、均方误差（MSE）和Pass@1，结合专家评分进行校准。
- �� 细粒度评分：定义10个维度，通过模型与专家评估，结合线性回归校正，获得最终评分。
实验设计
- �� 评测38个不同参数规模的模型，包括开源和闭源模型。
- �� 采用多任务、多难度、多场景的样本，确保评估的全面性。
- �� 指标包括基础的正确性识别、错误类型分类、细粒度多维评分。
- �� 通过对比不同模型参数规模、任务难度和场景，分析模型性能变化趋势。
- �� 进行消融实验验证评分体系的有效性，分析模型规模与性能的关系。
结果分析
- �� 模型参数越大，批评准确率越高，最大达75.30%；深度模型在错误识别和细粒度评分中表现优异。
- �� 在不同难度样本中，易样本ACC超过90%，困难样本平均仅30%，显示模型在复杂场景中的不足。
- �� 大模型在错误类型识别上表现更佳，尤其在引用错误和性能问题方面，参数越多，准确率越高。
应用场景
- �� 自动化代码审查：模型可作为辅助工具，识别潜在错误并提供改进建议。
- �� 智能编程辅导：为学习者提供详细的代码分析和优化建议，提升学习效率。
局限与展望
- �� 评测主要基于静态样本，未充分考虑动态执行中的错误检测。
- �� 校准机制依赖线性回归，可能在极端样本下偏差较大。
- �� 未来需引入多模态数据和实际场景测试，提升评估的实用性与全面性。
通俗解读 非专业人士也能看懂
想象一个工厂里有很多工人，他们每天都在制造各种产品。有些工人非常擅长发现自己做错了什么，并能提出改进方法。这个研究就像是在评估这些工人——也就是大模型——他们能不能像工厂里的工人一样，自己检查自己的工作，找到错误，并提出改正建议。研究设计了一个“测试场”，让模型在不同难度的任务中表现，像是让工人面对简单的产品和复杂的机械问题。通过观察他们的表现，就能知道这些模型是不是能像优秀的工人一样，帮忙检查和改进代码。这个“测试场”还会用不同的评分标准，像是工厂里的质量检查，让我们更全面了解模型的能力。最终，这个方法能帮助我们打造更聪明、更可靠的自动化代码审查工具，就像培训工人一样，让他们变得更厉害。
简单解释 像给14岁少年讲一样
想象你在学校里，有一群同学在写作文。有的作文很棒，但有些会出现拼写错误、逻辑不清或者句子不通顺。老师想知道这些同学的作文哪里写得好，哪里需要改进。这个研究就像是设计了一个特别的“作文检查员”，它可以自己找出作文中的错误，还能给出改进建议。这个“检查员”经过训练，能在不同难度的作文中表现得很好，比如简单的作文和复杂的长篇大论。它不仅能告诉你“对”或“错”，还能详细说明为什么错，哪里可以写得更好。这样一来，学生们就可以根据这些建议不断提高写作水平。这个“作文检查员”就像是一个超级聪明的老师助手，帮助大家写出更棒的作文！
原文摘要
The critique capacity of Large Language Models (LLMs) is essential for reasoning abilities, which can provide necessary suggestions (e.g., detailed analysis and constructive feedback). Therefore, how to evaluate the critique capacity of LLMs has drawn great attention and several critique benchmarks have been proposed. However, existing critique benchmarks usually have the following limitations: (1). Focusing on diverse reasoning tasks in general domains and insufficient evaluation on code tasks (e.g., only covering code generation task), where the difficulty of queries is relatively easy (e.g., the code queries of CriticBench are from Humaneval and MBPP). (2). Lacking comprehensive evaluation from different dimensions. To address these limitations, we introduce a holistic code critique benchmark for LLMs called CodeCriticBench. Specifically, our CodeCriticBench includes two mainstream code tasks (i.e., code generation and code QA) with different difficulties. Besides, the evaluation protocols include basic critique evaluation and advanced critique evaluation for different characteristics, where fine-grained evaluation checklists are well-designed for advanced settings. Finally, we conduct extensive experimental results of existing LLMs, which show the effectiveness of CodeCriticBench.