SWE Context Bench: A Benchmark for Context Learning in Coding
提出SWE-ContextBench，评估代码代理的上下文理解与重用能力，显著提升任务准确率和效率。
核心发现
方法论
本研究构建了基于真实GitHub问题和Pull Request关系的SWE-ContextBench，包括1100个基础任务和376个相关任务。通过手动分析代码库中的依赖和引用关系，提取任务序列，形成共享上下文池。采用多种检索策略和上下文管理方法，评估模型在不同上下文重用场景下的表现。利用特定指标（准确率变化、时间和成本效率）衡量模型的上下文理解和重用能力。实验中，使用Claude Code等模型进行任务执行，比较无上下文、全上下文、摘要和最优上下文等多种设置，验证上下文管理对任务性能的影响。
关键结果
- 准确总结和检索高质量上下文能显著提高任务解决的准确率，例如，GPT-5.3 Codex在oracle摘要设置下，任务解决率从22.60%提升至23.94%，提升幅度达1.34个百分点，且能降低运行时间和token消耗。模型在困难任务上的改进尤为明显，平均成本降低约27%。不合理或错误的上下文反而带来负面影响，强调了上下文筛选和管理的重要性。
- 在不同检索策略下，模型表现差异显著。Oracle摘要方案在提升准确率的同时，显著减少了平均运行时间（如Claude Sonnet 4.5由6.66分钟降至5.95分钟），并降低了token消耗，验证了高质量上下文的关键作用。
- 引入递归上下文扩展机制，进一步挖掘二阶依赖关系，提升了相关任务识别率，丰富了任务序列，为模型学习提供更丰富的上下文信息。整体结果表明，有效的上下文管理和检索策略是提升代码代理性能的核心因素。
研究意义
本研究填补了现有基准在上下文学习方面的空白，提出了系统评估代码代理在跨任务上下文重用中的能力。通过真实软件开发场景的任务设计，验证了上下文理解对提升效率和准确率的关键作用，为未来智能代码助手的研究提供了理论基础和实践平台。该基准可帮助学界和工业界更深入理解模型在复杂软件工程任务中的上下文管理能力，推动智能化软件开发工具的发展。
技术贡献
本研究提出了结合真实任务关系的上下文重用评估框架，设计了多维指标体系（准确率变化、时间和成本效率），并引入递归上下文扩展机制。创新点在于：1）构建基于真实依赖关系的任务序列，增强任务的真实性和复杂性；2）提出多策略检索与筛选方法，显著提升上下文质量；3）通过多模型实验验证上下文管理对性能的影响，为未来上下文学习算法提供了理论指导和实践依据。
新颖性
首次系统性引入基于真实软件开发关系的上下文学习基准，结合多任务、多语言、多策略评估模型在跨任务场景中的表现。与现有长上下文和记忆增强基准不同，强调模型在多任务环境中的上下文理解和重用能力，具有较强的现实应用价值和研究意义。
局限性
- 当前基准主要依赖人工分析关系，存在一定的主观性和局限性，未来需引入自动关系识别机制以提升规模和自动化水平。
- 模型在复杂或多依赖关系任务中的表现仍有限，特别是在错误筛选和上下文过滤方面存在不足，影响整体效果。
- 实验环境偏向理想化，实际工业环境中的噪声和多样性尚未充分模拟，未来需考虑更复杂的场景和多模态信息融合。
未来方向
未来将探索自动化关系提取与上下文筛选技术，提升模型在大规模复杂任务中的适应性。还将结合多模态信息（如代码、文档、测试结果）优化上下文管理策略，推动上下文学习在工业级软件开发中的应用落地。同时，计划引入强化学习和元学习机制，增强模型的泛化和自主学习能力。
AI 总览摘要
在现代软件工程中，代码代理的上下文理解能力成为提升效率和准确率的关键。传统基准主要评估模型在单一任务中的表现，忽视了跨任务知识的积累与重用。为此，本文提出了SWE-ContextBench，一套基于真实软件开发关系的多任务评估平台，涵盖1100个基础任务和376个相关任务，模拟实际开发中的问题依赖和引用关系。
该基准通过手工分析GitHub中的Issue和Pull Request，构建任务序列和共享上下文池，评估模型在不同上下文管理策略下的性能表现。实验中，采用Claude Code等模型，比较无上下文、全上下文、摘要和最优上下文等多种设置，结果显示高质量的上下文总结和检索能显著提升任务成功率，减少运行时间和token消耗，尤其在复杂任务中效果更为明显。这验证了上下文理解在软件工程中的重要性，也为未来智能代码助手的研究提供了新的评估标准。
此外，研究还引入递归上下文扩展机制，挖掘二阶关系，丰富任务序列，进一步提升模型的学习能力。整体来看，本文的贡献在于提出了系统性、多维度的上下文学习评估框架，为推动代码代理的智能化发展提供了理论基础和实践工具。未来工作将聚焦于自动关系识别、多模态信息融合和强化学习等方向，助力软件开发的自动化和智能化升级。
深度分析
研究背景
软件工程中的代码生成与维护技术经历了从静态规则到深度学习的演变。早期方法如模板匹配和静态分析已难以应对复杂场景，近年来，基于大规模预训练模型（如GPT、Codex）推动了自动代码生成的快速发展。这些模型在单任务评估中表现优异，但缺乏跨任务知识迁移能力。现有的基准如HumanEval、MBPP主要关注单一任务的正确性，未能充分反映工程实践中的知识重用需求。近年来，研究开始关注模型在仓库级别的理解能力，如CodeX、CodeSearchNet等，但仍未系统评估模型在多任务、多关系环境中的上下文学习能力。随着软件开发复杂度提升，模型需要理解和利用历史经验，提升效率和准确性，成为研究热点。
核心问题
当前代码代理在多任务环境中的表现受限，主要因缺乏有效的上下文管理机制。现有基准多关注单次任务的性能，忽视了跨任务知识的积累和重用。实际开发中，工程师经常依赖历史经验解决新问题，但模型尚未具备类似能力。如何设计一个既能反映真实开发场景，又能量化上下文学习能力的评估体系，成为亟待解决的问题。缺乏系统性、多维度的评估指标，限制了模型在复杂环境中的应用潜力。
核心创新
本研究的核心创新在于：1）基于真实软件开发关系构建多任务序列，模拟实际开发中的依赖和引用关系；2）提出多策略检索与筛选机制，确保上下文的相关性和质量；3）引入递归扩展机制，挖掘二阶关系，丰富任务上下文信息；4）设计多维指标体系，全面评估模型在准确率、效率和成本上的表现。这些创新突破了传统单任务评估的局限，为上下文学习提供了更贴近实际的评估平台。
方法详解
- �� 构建真实GitHub任务集：从Issue和Pull Request中分析依赖关系，手工标注任务序列。• 采集任务轨迹：用Claude Code执行每个任务，记录工具调用、文件导航和推理步骤，形成上下文池。• 关系识别：通过分析引用关系，扩展任务序列，形成多层次依赖结构。• 上下文检索：采用多策略（全检索、摘要、最优）筛选相关上下文，结合过滤机制确保质量。• 评估指标：设计准确率变化、时间和成本效率指标，量化上下文重用效果。• 模型实验：在不同设置下（无上下文、全上下文、摘要、最优）测试多模型性能，比较效果差异。
实验设计
使用SWE-Bench Lite、Multilingual和Verified作为基础数据集，结合真实关系构建任务序列。采用Claude Code作为执行模型，评估在不同上下文管理策略下的任务成功率、运行时间和token消耗。设置包括无上下文、全上下文、摘要和最优上下文，进行多轮实验以验证效果。指标包括任务解决率、平均运行时间、token成本和回归风险。还引入递归扩展机制，分析二阶关系对性能的影响，确保实验的全面性和代表性。
结果分析
高质量的上下文总结和检索显著提升模型性能，例如GPT-5.3 Codex在oracle摘要条件下，任务解决率从22.60%提升到23.94%，成本降低约27%。模型在复杂任务中的表现尤为突出，平均运行时间减少超过60%。递归关系扩展增强了任务识别能力，丰富了上下文信息，整体验证了上下文管理的关键作用。不同模型在不同策略下的表现差异，强调了筛选和管理的重要性，为未来模型设计提供了指导。
应用场景
该基准适用于开发智能代码助手、自动化调试工具和持续集成系统，帮助工程师快速定位和修复问题。通过真实任务关系，模型能在实际开发中学习和迁移知识，提升效率。未来，结合自动关系识别和多模态信息，将推动工业界实现更智能、更高效的软件开发流程。
局限与展望
目前依赖人工分析关系，存在主观偏差；模型在多依赖关系复杂场景中的表现仍有限，尤其在错误筛选方面；实验环境偏理想化，未充分模拟工业复杂场景。未来需引入自动关系识别、多模态融合和强化学习技术，以提升鲁棒性和适应性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，手边有一本食谱和一些食材。每次做完一道菜，你会记住用的调料和步骤，下次遇到类似菜谱时，你可以直接用之前的经验快速做出美味的菜肴。软件开发中的代码代理也是如此，它们需要记住之前解决问题的方法，然后在遇到相似问题时，能快速找到之前的“食谱”并用上。这个研究就像是在厨房里整理一份“菜谱库”，让机器人学会从过去的经验中学习，变得越来越聪明，做菜也越来越快。它不仅关心每次做菜是否成功，更关注如何用更少的时间和材料做出更好的菜肴。这种“学习和借鉴”的能力，正是未来智能厨房（软件开发）变得更高效的关键。
简单解释 像给14岁少年讲一样
想象你在学校里遇到一道难题，刚开始你可能要花很多时间思考，试错，甚至请教老师。但如果你之前遇到过类似的问题，你就可以用之前的经验快速解决。软件中的智能助手也是一样，它们通过学习以前解决问题的方法，能更快、更好地帮你修复代码错误。这个研究就像是在教这些助手如何记住过去的“经验”，并在遇到新问题时，能像人一样聪明地借用以前的“经验”。研究中，科学家让模型在真实的开发环境中学习，建立了一个“经验库”，让模型可以从中检索相关的解决方案。结果显示，借助高质量的“经验总结”，模型的修复成功率提高了，耗时也减少了很多。这意味着未来的软件开发会变得更智能、更高效，就像有个聪明的助手在你身边，随时帮你解决问题。
原文摘要
Large language models are increasingly used as coding agents for software engineering tasks. Current benchmarks mainly evaluate whether the agent can correctly solve the request or fix the bugs. They largely treat tasks as independent and do not assess whether agents can reuse previous experience across related problems. As a result, the efficiency gains from reusing the previous experience remains difficult to measure. We introduce SWE-ContextBench, a benchmark designed to explicitly evaluate context understanding and retrieval in coding agents. SWE-ContextBench consists of 1,100 base tasks with another 376 related tasks derived from real dependency and reference relationships among GitHub issues and pull requests. SWE-ContextBench groups base tasks and related tasks with shared context across 51 unique repositories and 9 programming languages. The benchmark evaluates how accurately and efficiently agents solve related issues when prior cases are available in context. Using SWE-ContextBench, we study the behavior of multiple coding agents across varying context reuse settings and retrieval strategies. Our results show that accurately summarized and retrieved previous experience can significantly improve resolution accuracy and reduce runtime and token cost, particularly on harder tasks. In contrast, unfiltered or incorrectly selected context provides limited or negative benefits. These findings highlight the importance of context management and retrieval accuracy, and position SWE-ContextBench as a principled benchmark for studying context learning in coding agents.