ProgramBench: Can Language Models Rebuild Programs From Scratch?

软件工程领域近年来经历了从传统手工开发向自动化、智能化的转变。早期研究如CodeX、GPT-3在代码生成方面取得突破，但多集中于片段或特定任务。随着模型能力提升，研究逐步关注系统设计与架构决策，强调模型在软件生命周期中的作用。现有基准如HumanEval、MBPP主要评估代码片段，缺乏对整体软件架构的衡量。近年来，自动化测试、模仿学习和强化学习等技术推动了软件自动生成的边界，但在复杂软件的完整重建方面仍面临巨大挑战。本研究借鉴行为驱动测试、自动化fuzzing等技术，提出全新评估体系，旨在突破现有局限，推动模型在软件设计中的应用。

当前模型在软件重建任务中表现有限，尤其在架构设计、模块划分和抽象层面缺乏能力。传统基准多关注代码片段，难以反映实际软件开发的复杂性。实际开发中，架构决策、模块化设计和行为一致性是核心难点，模型在这方面的能力尚未得到系统评估。缺乏统一的、行为导向的评估体系，使得模型在复杂任务中的表现难以量化。如何设计一个既能反映软件整体设计能力，又能保证评估公平性和可扩展性的方法，成为亟待解决的问题。

本研究的创新点在于引入行为驱动测试作为评估核心，结合自动化fuzzing技术，生成大规模验证用例，确保模型设计的行为一致性。提出多任务、多语言、多复杂度的任务集，全面衡量模型在软件架构、抽象和实现能力上的差异。分析模型偏好单文件实现的趋势，揭示其在模块化设计上的不足。公开数据集和评估流程，为后续研究提供标准化平台，推动模型在软件工程中的应用创新。

• �� 任务生成：从开源GitHub仓库筛选出可编译的项目，提取程序和文档作为任务起点。
• �� 编译与构建：利用模型（SWE-agent）自动编译源代码，生成构建脚本。
• �� 行为测试：通过模型探索程序行为，自动生成验证用例，覆盖不同输入。
• �� 测试验证：用生成的测试套件验证模型输出，行为一致性作为评判标准。
• �� 评估指标：任务完成率、测试通过率、代码结构偏好。
• �� 结果分析：统计模型在不同任务中的表现差异，分析偏好和不足。

采用9个先进语言模型，涵盖Claude、GPT系列等，测试范围包括CLI工具、数据库、媒体处理软件等。每个模型在受控环境中运行，限制步骤数和时间。指标包括任务解决率和测试通过率。通过多场消融实验，分析不同资源、语言限制对模型表现的影响。数据集涵盖多样化软件类型，确保评估的代表性。模型行为和代码结构差异被详细分析，揭示模型偏好和能力瓶颈。

所有模型未能完全解决任何任务，最高在95%以上测试通过率的任务中仅达3%。模型偏好单文件、长函数实现，偏离人类模块化设计。行为验证显示模型在复杂软件上表现不足，但在简单CLI工具上表现较好。模型在不同任务中的表现差异显著，反映出架构设计和抽象能力的不足。自动生成的测试套件覆盖率与人类开发的测试相当，验证了模型方案的行为一致性，但在架构层面仍有差距。

该评估体系可用于自动化软件开发、代码维护、系统设计优化等场景。可帮助开发者评估模型在软件架构决策上的能力，推动智能化软件工程工具的发展。未来结合持续集成平台，实现无人值守的自动软件生成和优化，提升软件开发效率。

模型偏好单文件实现，缺乏模块化设计，难以应对大型复杂软件。测试覆盖虽广，但仍无法完全捕捉程序全部行为和设计意图。模型在复杂任务中的表现有限，尚未实现从架构设计到完整实现的突破。未来需增强模型的抽象能力和模块化设计能力，结合多模态输入，提升整体性能。