核心发现
方法论
本文构建了CodeTaste基准，结合GitHub大规模多文件重构数据，利用静态分析规则和测试套件评估模型重构能力。采用提议-实现流程，结合静态规则匹配和数据流推理，衡量模型在详细指令和模糊目标下的表现。通过两条轨道（详细指令和开放式）测试模型，发现模型在细节重构中达成70%对齐，但在自主识别偏好方面不足8%。
关键结果
- 在详细指令轨道中，最优模型达成69.6%的对齐率，显著优于随机猜测。模型在功能正确性上表现良好，测试通过率超过95%。在偏好识别任务中，模型平均对齐率低于8%，即模型难以自主捕捉人类开发者的偏好。
- 模型在复杂重构任务中，平均修改文件数达91.52个，行数达2605行，验证了任务复杂度。静态分析规则覆盖多样代码模式，验证了模型在语义层面的理解能力。
- 提出的提议-实现解码策略和优先选择最匹配方案的方法，有效提升模型在细粒度偏好上的表现，表明多轮推理和偏好引导是未来提升方向。
研究意义
该研究填补了代码重构能力评估的空白，提供了结合功能正确性与偏好匹配的量化指标，为模型与人类开发者的偏好对齐提供了新思路。对自动化代码维护、技术债务清理及AI辅助开发具有重要推动作用，推动模型从简单代码生成向复杂软件工程任务的迁移。
技术贡献
提出CodeTaste基准，结合静态分析和数据流推理，量化模型在复杂重构中的偏好识别能力。引入提议-实现解码框架，结合偏好信号优化模型输出，显著提升偏好对齐率。实现多语言、多文件大规模重构任务的自动评估，推动模型在软件工程中的应用落地。
新颖性
首次系统性构建涵盖多文件、多语言的重构基准，结合静态分析规则和偏好信号，评估模型自主识别偏好的能力。区别于现有单文件、单语言的重构评测，强调偏好对齐，推动模型理解和应用复杂软件工程场景。
局限性
- 模型在自主识别偏好方面表现不足，主要受限于静态规则的表达能力和推理深度，难以捕捉复杂语义偏好。
- 评估只在开源代码库中进行，尚未验证在工业环境中的适应性和鲁棒性。
- 静态分析规则设计依赖人工，存在偏差，未来需自动学习和扩展规则集。
未来方向
未来将结合动态分析和语义理解，提升模型偏好识别能力。探索多轮交互和强化学习策略，增强模型自主发现偏好的能力。扩展多语言、多场景的评估体系，推动模型在工业级软件维护中的应用落地。
AI 总览摘要
随着人工智能在软件工程中的快速发展，代码生成和修复能力不断突破，但在复杂软件维护场景中，模型的偏好识别和长远可维护性仍是挑战。本文提出CodeTaste基准，结合GitHub大规模多文件重构数据，利用静态分析和数据流推理，系统评估大规模语言模型在代码重构中的表现。
通过两条轨道——详细指令和开放偏好，研究发现模型在细节重构中能达到70%的偏好对齐率，表现优于随机猜测，但在自主识别偏好方面仍不足8%。这表明模型在理解人类开发者偏好方面存在明显差距，尤其在没有明确指示的情况下。
为改善这一问题，本文引入提议-实现的解码策略，结合偏好信号筛选最优方案，有效提升偏好匹配能力。实验结果显示，该方法在复杂多文件、多语言场景中表现出色，验证了偏好引导和多轮推理的重要性。
该研究不仅丰富了代码重构评估体系，也为未来AI在软件维护中的应用提供了理论基础和实践工具。尽管如此，模型在偏好自主识别、工业环境适应性和规则自动学习方面仍有待突破。未来，结合动态分析、多模态理解和强化学习，将推动模型在复杂软件工程中的广泛应用。
深度分析
研究背景
软件工程领域近年来逐步引入AI辅助工具，提升代码生成、修复和重构效率。早期工作如CodeBERT、GPT-3在代码理解和生成方面取得突破，但多集中于单文件、单任务场景。近年来，OpenAI、DeepMind等公司推出的大规模模型（如Codex、GPT-4）在自动修复和代码补全中表现优异，但缺乏针对复杂多文件重构的系统评估。现有基准如CodeRefactor、SWE-Refactor多为单文件、单语言，难以反映实际工业场景中的复杂性。随着模型能力提升，行业对模型在长远维护、偏好理解和多任务协同能力的需求不断增长，推动构建更全面的评估体系成为迫切需求。
核心问题
当前模型在复杂多文件重构中的自主识别偏好和长远维护能力不足。虽然在特定指令下表现良好，但缺乏对开发者偏好的理解，难以在实际场景中自主发现技术债务、优化结构。现有评测多关注单任务、单文件，忽视偏好匹配和多任务协同，限制模型在软件工程中的应用潜力。如何设计能衡量模型偏好理解能力的基准，成为亟待解决的问题。
核心创新
提出CodeTaste基准，结合大规模GitHub重构数据，利用静态分析规则和数据流推理，系统评估模型偏好识别能力。引入提议-实现解码策略，结合偏好信号筛选最优方案，显著提升偏好对齐率。区别于传统单文件、静态指标的评测体系，强调多文件、多语言、多任务场景中的偏好理解和长远维护能力。创新点还包括自动生成静态分析规则、结合多轮推理和偏好引导，推动模型在复杂软件工程任务中的应用。
方法详解
- �� 从GitHub采集大规模多文件重构数据，筛选高质量实例。• 利用LLM生成详细任务描述，结合静态分析规则捕捉重构意图。• 构建可复现的多阶段环境，验证模型输出的正确性。• 采用提议-实现流程，模型先提出多方案，再结合偏好信号筛选最优方案。• 通过静态规则匹配和功能测试验证模型重构的正确性和偏好一致性。• 设计两条轨道：详细指令和模糊偏好，评估模型在不同信息条件下的表现。
实验设计
在100个多文件重构任务上测试五个模型（如GPT-5.2、Claude 4.5、Qwen3），指标包括功能正确性（测试通过率≥95%）、偏好对齐（最高70%）、修改文件数（平均91.52个）和行数（2605行）。采用多轮推理和偏好引导策略，进行 ablation 研究，验证偏好信号对模型性能的提升。还在不同语言（JavaScript、TypeScript、Go）中验证泛化能力。
结果分析
模型在详细指令轨道中达成最高69.6%的偏好对齐，功能验证通过率超过95%。在偏好自主识别上，模型平均对齐不足8%。引入多轮推理和偏好筛选后，偏好对齐率提升至20%以上。实验还显示，偏好引导显著改善模型在复杂多文件场景中的表现，验证了偏好理解的重要性。
应用场景
该基准可用于评估和训练AI辅助软件维护工具，帮助自动识别和修复技术债务。未来可结合动态分析和用户偏好学习，开发智能化的代码优化系统，提升软件开发效率和质量。工业界可借助此技术实现自动化重构和持续集成中的偏好对齐，降低维护成本。
局限与展望
模型在自主偏好识别方面仍受限于静态规则表达能力，难以捕捉深层语义偏好。评估环境主要为开源代码库，工业环境中的鲁棒性和适应性尚未验证。规则生成依赖人工，未来需自动学习和扩展，提升泛化能力。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，厨师（模型）需要根据食谱（指令）准备菜肴。有时候，食谱写得很详细，厨师可以按部就班完成菜肴，但如果只告诉厨师大致方向，他可能会做出不符合厨师偏好的菜。这个研究就像让厨师学会理解厨师长的偏好，不仅按食谱做，还能自主发现哪些做法更受欢迎。通过观察厨师的表现，厨师长可以教会厨师更符合大家口味的方法。研究中，模型就像这个厨师，评估它是否能理解偏好，能自主改进，最终让厨师做出更受欢迎的菜肴。
简单解释 像给14岁少年讲一样
想象你在学校的厨房里帮忙做饭。有时候你会严格按照食谱做菜，结果还不错，但如果你只知道大概的方向，可能做出来的菜不太合大家的口味。这就像模型在写代码，有时候它能按指令做得很好，但不知道怎么自己发现哪些改进更受人喜欢。这个研究就像教你怎么理解厨师长的偏好，让你不仅能按食谱做，还能自己发现更好吃的做法。通过反复练习和观察，你会变得越来越懂得大家喜欢什么，做出更棒的菜。模型也是一样，研究希望它能自主理解偏好，变得更聪明，更贴近人类开发者的想法。
术语表
Static Analysis (静态分析)
一种通过分析代码结构和语义，检测潜在问题或模式的方法，不依赖代码运行。
用于设计静态分析规则，验证模型重构是否符合预期。
Dataflow Reasoning (数据流推理)
分析程序中数据在不同位置的流动，理解代码语义变化。
帮助模型理解代码中的语义关系，验证重构的正确性。
Alignment Score (偏好对齐率)
衡量模型生成代码与人类偏好一致程度的指标，结合功能正确性和偏好匹配。
评估模型在自动识别和实现人类偏好方面的表现。
开放问题 这项研究留下的未解疑问
- 1 如何自动扩展静态分析规则以覆盖更多代码模式，提升模型偏好识别能力。
- 2 模型在工业环境中对偏好理解的鲁棒性和适应性仍需验证。
应用场景
近期应用
自动代码维护工具
结合CodeTaste评估模型偏好，开发自动识别和修复技术债务的工具，提升软件维护效率。
偏好引导的代码生成
利用偏好信号优化模型输出，使自动生成的代码更符合开发者偏好，减少人工调整。
远期愿景
智能软件工程助手
实现模型自主理解开发者偏好，支持长远的代码优化和持续集成，推动AI在软件开发中的深度融合。
原文摘要
LLM coding agents can generate working code, but their solutions often accumulate complexity, duplication, and architectural debt. Human developers address such issues through refactoring: behavior-preserving program transformations that improve structure and maintainability. We investigate whether agents (i) can execute refactorings reliably and (ii) identify the refactorings that human developers actually chose in real codebases. To this end, we construct CodeTaste, a benchmark mined from large multi-file open-source refactorings. To score solutions, we combine repository test suites that measure functional correctness with tailored static checks that verify removal of undesired and introduction of desired code patterns using dataflow reasoning. Our results show a clear gap: agents perform well at implementing refactorings that are specified in detail, but often fail to discover the human refactoring choices when given a focus area for changes. A propose-then-implement decomposition improves alignment, and selecting the best-aligned proposal before implementation can yield further gains. CodeTaste provides an evaluation target and a potential preference signal for aligning coding agents with human refactoring decisions in realistic codebases. We release the benchmark, leaderboard, and code.