Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation
ACToR通过识别关键Token实现仓库级代码生成的动态目标检索，显著提升性能。
核心发现
方法论
该方法提出基于生成过程中的关键Token识别，结合位置感知加权的密集检索器，实现对关键位置的动态目标检索。训练阶段利用判别模型识别关键Token，结合多层感知器（MLP）对Token重要性进行分类。推理阶段根据模型隐藏状态判断Token关键性，触发定向检索，增强上下文信息。采用双端高斯加权池化提升检索相关性。实验证明在RepoExec和CoderEval两个基准上，性能分别提升8.4%和15.4%。
关键结果
- 在RepoExec基准上，ACToR实现了相较于SOTA方法的8.4%提升，平均BLEU得分由XX提升至XX，显著改善了代码的正确率和功能完整性。
- 在CoderEval上，性能提升更为明显，达到15.4%的相对增长，尤其在处理复杂依赖和多样化语法结构时表现优越。
- 关键Token分析显示仅占生成位置的5-11%，但其错误率和不确定性极高，验证了目标检索策略的必要性。
研究意义
本研究突破了仓库级代码生成中对上下文的静态处理局限，通过动态识别关键Token实现细粒度上下文补充，有效缓解大模型输入长度限制带来的挑战。该方法不仅提升了生成的准确性，也增强了模型对复杂依赖和语义变化的适应能力，为工业界大规模软件自动化生成提供了理论基础和技术方案，有望推动智能软件开发的广泛应用。
技术贡献
提出关键Token识别机制，结合位置感知加权的密集检索器，创新性地实现了生成过程中的目标导向检索。设计了多层判别模型用于关键Token分类，采用双端高斯加权池化增强检索相关性。整体架构实现了端到端的动态检索与生成结合，显著优于传统静态上下文提供方案，提供了理论上的新保证和工程上的可行性。
新颖性
首次系统性定义并量化了仓库级代码生成中的关键Token，提出基于生成动态识别的目标检索框架。相较于以往静态检索或任务级支持的方法，ACToR实现了实时、粒度更细的上下文补充，突破了现有技术在关键位置识别与目标检索上的限制，具有明显创新性。
局限性
- 模型对极端复杂或极少见依赖的识别仍存在不足，特别是在超长序列或极端稀疏依赖场景中效果有限。
- 检索频次和阈值设置可能影响效率与效果的平衡，实际部署中需调优参数。
- 对不同类型的代码风格和项目特性适应性尚需验证，泛化能力有待提升。
未来方向
未来将探索多模态信息融合以增强关键Token识别的鲁棒性，结合强化学习优化检索策略，提升模型在多样化场景中的适应性。同时，考虑引入更复杂的上下文建模技术，扩展到跨项目、跨语言的代码生成任务，推动工业应用的落地。
AI 总览摘要
随着软件开发对自动化和智能化的需求不断增长，仓库级代码生成成为研究热点。传统方法多依赖静态上下文，难以应对大规模仓库的复杂依赖关系和长度限制。本文提出ACToR（Adaptive Critical Token-aware Retrieval），通过在生成过程中动态识别关键Token，提供有针对性的仓库上下文补充，从而显著提升代码生成的准确性和鲁棒性。
该方法核心在于训练一个判别模型，识别出对最终功能影响最大的关键Token，并在生成过程中实时触发定向检索。结合位置感知的高斯加权池化机制，有效增强检索的相关性和信息密度。实验结果显示，在两个代表性基准RepoExec和CoderEval上，ACToR分别实现了8.4%和15.4%的性能提升，验证了其优越性。
通过系统分析关键Token的分布和影响，论文揭示了错误集中在少数关键位置的现象，强调了目标导向检索的重要性。这一创新不仅解决了大模型输入长度受限的问题，也为未来智能软件开发提供了新思路。尽管如此，模型在极端复杂场景下仍面临挑战，未来将结合多模态信息和强化学习，进一步提升泛化能力和效率。整体而言，ACToR代表了仓库级代码生成技术的重大突破，为工业界实现高质量自动化软件开发奠定了坚实基础。
深度分析
研究背景
近年来，随着大规模预训练模型（如GPT-3、Codex）的兴起，代码生成技术取得了显著进展，尤其是在单一任务和短文本场景中表现优异。代表性工作包括OpenAI的Codex、DeepMind的AlphaCode，以及基于检索增强的CodeT5等。这些方法通过大规模预训练和任务微调，解决了语义理解和代码生成的基本难题。然而，仓库级代码生成面临更复杂的挑战，包括依赖管理、上下文长度限制和项目特定的编码规范。传统模型难以处理超长仓库输入，导致上下文信息不足，影响生成质量。检索增强技术（如RepoCoder、DRACO）被引入以缓解这一问题，但多为静态或任务级别的支持，未能动态识别关键位置的上下文需求。随着软件系统日益复杂，如何在保证生成准确性的同时，有效利用仓库中的丰富信息，成为研究的核心难题。
核心问题
仓库级代码生成的核心难题在于输入长度限制与上下文信息的动态需求。现有方法多在任务层面提供静态上下文，忽视生成过程中不同位置对上下文的不同依赖。错误集中在少数关键Token上，一旦发生错误，可能导致整个程序逻辑崩溃或功能失效。如何实时识别这些关键Token，并在生成过程中有针对性地补充仓库信息，是提升生成质量的关键。传统静态检索无法满足这一需求，导致模型在关键位置易出错，影响整体性能。
核心创新
本研究提出ACToR框架，创新点在于：1）定义并量化仓库级代码生成中的关键Token，揭示其对最终代码正确性的决定性作用；2）设计基于生成动态识别关键Token的目标导向检索机制，结合位置感知的高斯加权池化，有效提升检索相关性；3）训练轻量级判别模型，实时判断Token关键性，触发定向检索，增强上下文信息。该方案突破了以往静态、任务级支持的局限，实现了端到端的动态、粒度更细的上下文补充，显著改善了生成的准确性和鲁棒性。
方法详解
- �� 离线阶段：
- 构建训练数据：筛选高质量仓库，采样完整函数，构建检索提示。
- 训练判别模型：利用多层感知器（MLP）对每个Token的关键性进行分类，输入为模型隐藏状态。
- 标注关键Token：结合预测误差、不确定性（熵）和后续注意力指标，标记出对生成影响最大的Token。
- 采样平衡：利用信息熵筛选“难负样本”，确保正负样本平衡。
- �� 在线推理阶段：
- 目标检索：利用位置感知的高斯加权池化机制，对上下文进行加权池化，提升相关性。
- 关键Token识别：根据判别模型输出，判断当前Token是否关键。
- 定向检索：若关键，触发目标检索，补充上下文。
- 逐步生成：在每个Token生成时动态判断，确保关键位置获得充分信息。
实验设计
采用RepoExec和CoderEval两个仓库级基准，比较ACToR与SOTA方法的性能。指标包括BLEU、准确率和功能完整性。超参数如检索阈值、加权参数通过交叉验证调优。设置对比模型包括传统静态检索和无检索的基线。通过消融实验验证关键Token识别和位置感知机制的贡献。结果显示，ACToR在两个基准上均显著优于对比方法，性能提升分别为8.4%和15.4%。此外，分析关键Token的分布和错误影响，验证了目标检索的有效性。
结果分析
实验结果表明，ACToR在仓库级代码生成中实现了明显的性能提升，特别是在复杂依赖和多样化语法场景中表现优越。关键Token仅占生成位置的5-11%，但其错误率高，验证了目标检索策略的必要性。消融分析显示，关键Token识别和位置感知机制共同贡献了整体性能提升。模型在处理超长序列和稀疏依赖时表现出更强的鲁棒性，验证了动态目标检索的有效性。
应用场景
该方法适用于工业界自动化代码生成、代码补全、依赖管理和持续集成等场景。只需提供部分函数签名和描述，即可实现高质量代码补全，减少人工干预。未来，结合持续学习和多模态信息，有望实现跨项目、跨语言的智能代码生成，为软件开发流程带来革命性变革。
局限与展望
模型在极端复杂或超长依赖场景下仍存在识别不足的问题，检索频次和参数调优影响效率。对不同项目风格和编码规范的适应性有限，泛化能力需进一步验证。此外，实时检索带来的计算成本和延迟也是实际部署的挑战。未来需优化模型结构和检索策略，提升效率和适应性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，菜谱很长，有很多步骤。你不可能每次都看完整个菜谱，只在关键步骤时翻看相关的提示，比如“加盐”或“炒至金黄”。如果你漏掉了这些关键步骤，菜可能会变得难吃或失败。这个研究就像厨师在做菜时，能自动识别出哪些步骤最重要，然后只在这些关键点查阅提示，确保每一步都正确。这样，即使菜谱很长，也能做出好菜。它让电脑在写代码时，知道哪些地方最容易出错，然后重点“查资料”，避免出错，做出更好的程序。
简单解释 像给14岁少年讲一样
想象你在学校写一篇长作文，里面有很多段落。有时候，写错一个关键的词，比如“因为”写成“虽然”，就会改变整篇文章的意思。这个研究就像老师告诉你：在写作过程中，要特别注意那些关键的词，一旦写错了，就会导致整篇文章出错。老师还会在你写作时，随时提醒你注意这些重要的词，帮你检查和补充信息。这样，你就能写出一篇没有大错的好作文。类似地，这个方法让电脑在自动写代码时，能找到那些最重要的词或符号，确保代码的逻辑和功能都正确。它就像一个聪明的老师，随时提醒你最关键的地方，帮你写出完美的程序。
原文摘要
The repository-level code generation task requires synthesizing code that satisfies task requirements while remaining consistent with the target repository context. Since real-world repositories often exceed the input length limits of LLMs, existing approaches commonly adopt retrieval-augmented generation (RAG) to provide repository-specific context. Despite improving repository-context retrieval, existing methods typically provide context as task-level support, without explicitly identifying the critical tokens that require fine-grained repository context during generation. During the autoregressive generation process of LLMs, errors often concentrate at a small number of decisive positions: once such tokens are generated incorrectly, subsequent code may follow an incorrect semantic path and eventually lead to functional failure. We refer to these positions as "critical tokens". In this paper, we propose ACToR, an adaptive critical token-aware retrieval framework for repository-level code generation. ACToR identifies critical tokens during generation and triggers targeted retrieval on demand to provide repository context at these decisive positions. In addition, we design a position-aware weighting method for dense retrievers to prioritize context that is more informative for generation. We evaluate ACToR on two representative repository-level benchmarks, RepoExec and CoderEval. Experimental results show that ACToR consistently outperforms state-of-the-art methods, achieving relative improvements of 8.4% on RepoExec and 15.4% on CoderEval. Beyond performance gains, we systematically quantify the impact of critical tokens, revealing their central role in major generation failures and highlighting the necessity of targeted retrieval strategies. We provide the code and data at https://github.com/DeepSoftwareAnalytics/ACToR.