LoopsBench: From Harness Engineering to Loop Engineering in Coding Agent Evaluation

软件工程逐步向自动化和智能化转型，编码代理成为关键技术之一。早期工作如Codex、GPT系列主要关注单一任务或终态成功，缺乏对多阶段、多依赖环境的系统评估。SWE-bench等静态基准虽扩展了任务范围，但仍未充分揭示模型在持续执行中的中间义务维护和回归压力。近年来，长 horizon 任务成为研究热点，旨在模拟真实软件开发中的多阶段协作和状态管理，但缺乏统一的评估平台。本文基于此背景，提出LOOPSBENCH，旨在填补长 horizon 任务评估的空白，推动编码代理在复杂环境中的应用。

现有评估方法难以衡量模型在长 horizon 任务中的持续性和依赖维护能力。传统静态终端任务无法反映中间开发义务的保持与回归压力，导致模型在实际软件开发中表现不足。长 horizon 任务涉及多阶段、多依赖关系，模型需在状态连续、回归控制和任务调度中表现出色，但现有技术缺乏系统性评估工具。这限制了模型在复杂软件工程中的应用潜力，也阻碍了长 horizon 任务的深入研究。

本文创新点在于：1）提出基于依赖DAG的长 horizon任务结构，明确中间开发单元和依赖关系；2）结合流感知运行时，动态控制测试释放和状态追踪，提升持续执行能力；3）引入源证据驱动的任务构建流程，确保任务真实性和多样性；4）通过轨迹分析揭示模型在依赖维护、状态连续和回归管理中的表现差异。这些创新使得评估更贴近实际软件开发场景，为未来模型优化提供了量化指标。

• �� 任务采集：从真实源中收集112个任务，涵盖不同领域和语言。
• �� 预处理：将源代码、提交历史和论文资料转化为原子开发单元，建立依赖DAG。
• �� 任务筛选：基于时间跨度和规模阈值筛选出符合长 horizon要求的任务。
• �� 关系恢复：利用源证据（如代码调用、导入关系）构建依赖边，确保任务的真实性。
• �� 任务构建：在每个任务中，定义开发单元、依赖关系和测试环境，确保可测试性。
• �� 运行时控制：采用流感知机制，逐层释放测试，保持已完成节点作为回归义务，记录轨迹。
• �� 评估指标：包括依赖关系恢复度、补丁长度、测试覆盖和回归事件频率，全面衡量模型表现。

实验采用真实源数据，涵盖学术、开源和工业任务，评估不同模型（如Claude、GPT-5.5、Codex）在长 horizon 任务中的表现。指标包括任务解决率、依赖恢复度、补丁长度、测试覆盖率和回归事件。通过对比不同循环实现（开源与闭源）和模型配置，分析模型在维护依赖、状态连续和回归控制上的差异。实验还包括 ablation 研究，验证流感知机制和源证据的重要性。结果显示，最优配置解决率仅达25%，强调长 horizon 任务的挑战性。

模型在长 horizon 任务中的解决率明显偏低，最高仅达25%。依赖关系恢复不足，补丁偏长，测试覆盖有限，回归事件频繁。闭源实现更接近源依赖结构，开源实现多表现为线性流程。模型在状态连续性和回归管理方面表现不足，未来需引入更复杂的全局规划和动态依赖建模。实验验证了流感知机制在提升持续性方面的作用，提供了明确的改进方向。

该基准可用于评估自动化软件开发工具、持续集成系统和AI辅助编程平台的长 horizon 任务能力。适用于工业界的持续集成、自动化测试和代码维护场景，为模型优化提供量化指标。未来，结合该基准，研发更智能的编码代理，有望实现更高效、可靠的自动化软件开发流程。

当前模型解决率仍低，显示在复杂依赖和状态管理方面存在明显不足。测试覆盖不足，补丁偏长，影响实际应用效率。评估基于静态依赖DAG，未充分考虑动态变化和多任务交互。未来需引入动态依赖建模和更高效的状态追踪机制，以提升整体性能。