Asymmetric Capacity Allocation in Self-Refinement Pipelines
本研究首次系统分析了自我细化流程中生成器、批评者和修正器的模型容量分配，发现生成器和修正器模型越大越优，批评者模型对性能影响较小。
核心发现
方法论
采用逐阶段模型容量变化的对比实验，控制生成器、批评者和修正器的模型规模，使用Qwen3（6个规模）和Gemma3（4个规模）在五个不同任务基准上进行评估。通过固定两阶段模型规模，单独调整目标阶段模型，分析其对整体性能的影响。具体指标包括任务特定的性能指标和性能变异范围，结合统计分析得出模型容量对不同阶段的敏感性差异。
关键结果
- 生成器和修正器模型规模的增加显著提升整体性能，性能范围（∆）在不同任务中平均提升超过10个百分点，且模型越大越优，最大模型（Qwen3-32B）表现最佳。
- 批评者模型规模对性能影响有限，模型越大仅带来微小改善，标准差低于3.1个百分点，说明其对性能的敏感性较低。
- 即使是最小的批评者模型（Qwen3-0.6B）也优于无批评的基线，表明批评机制的引入本身具有明显优势。
研究意义
该研究揭示了多阶段自我细化系统中模型容量的非均匀分配策略，挑战了以往统一扩展的做法，为高效资源利用提供理论依据。理解不同阶段对模型规模的不同需求，有助于设计更具成本效益的多阶段大模型系统，推动其在复杂推理、计划和生成任务中的应用推广。
技术贡献
首次系统性量化了生成器、批评者和修正器在自我细化中的模型容量敏感性，提出了阶段性模型扩展的优化策略。通过控制变量实验，明确了模型规模对不同阶段性能的影响差异，为多阶段模型设计提供理论指导。结合具体数据和多任务验证，丰富了模型扩展的理论体系。
新颖性
本研究首次系统性分析了多阶段自我细化流程中模型容量的异步分配问题，突破了以往将模型规模作为整体统一扩展的局限，提出了不同阶段应采用不同模型规模的策略，具有重要创新意义。
局限性
- 实验仅在两个模型家族（Qwen3和Gemma3）上验证，未来需扩展到更多模型架构和任务类型以验证普适性。
- 模型容量调整为静态配置，未考虑动态调整策略，未来可结合动态资源调度优化性能。
- 对模型训练成本和推理效率的影响未深入分析，实际部署中需权衡性能与成本。
未来方向
未来将探索动态模型容量调节机制，结合任务复杂度和推理阶段实时调整模型规模，提升系统整体效率。此外，将引入多任务和多模态场景，验证阶段性容量分配策略的普适性和鲁棒性，推动自我细化在实际应用中的落地。
AI 总览摘要
近年来，大型语言模型的推理性能不断提升，但其计算资源消耗也随之增加。自我细化作为一种通过生成、批评和修正多轮交互优化输出的范式，已成为提升模型表现的重要机制。然而，现有研究多采用统一或经验性扩展模型规模的方法，忽视了不同阶段对模型容量的不同需求。本文首次系统性地分析了自我细化流程中生成器、批评者和修正器的模型容量分配问题，揭示了不同阶段的模型扩展策略对性能的影响差异。通过在五个多样化任务基准上的大量实验证明，扩大生成器和修正器模型规模能显著提升整体性能，而批评者模型对性能的影响较小，甚至过小的批评者可能导致性能下降。这一发现为设计高效的多阶段大模型系统提供了理论依据。研究结果强调，模型容量应根据每个阶段的功能需求进行差异化配置，避免资源浪费。未来，结合动态模型调度和多模态任务，将进一步推动自我细化在实际场景中的应用落地，优化推理效率与成本比。该工作为多阶段模型系统的资源分配提供了新思路，具有重要的学术和工业价值。
深度分析
研究背景
随着大型语言模型（如GPT-4、PaLM等）在自然语言理解和生成任务中的广泛应用，提升模型推理能力成为研究重点。早期工作如Kaplan等（2020）提出的缩放定律，为模型规模与性能关系提供理论基础。近年来，研究逐渐转向推理时的计算资源调度，诸如OpenAI（2026）提出的长推理轨迹和Muennighoff（2025）提出的测试时推理扩展策略，旨在在不增加模型参数的情况下提升性能。自我细化作为一种多轮交互优化技术，已被广泛应用于推理、规划、代码生成等任务中（Shinn et al., 2023; Zhou et al., 2025），但其模型容量分配问题尚未系统研究。大部分工作将模型规模作为整体扩展目标，忽视了不同阶段的功能差异。本文试图填补这一空白，通过阶段性模型容量分析，揭示不同环节对模型规模的不同需求，为未来多阶段系统设计提供理论支持。
核心问题
现有的自我细化方法多采用统一扩展模型规模的策略，忽略了生成、批评和修正三个环节在认知功能上的差异。这导致资源配置不合理，可能造成性能瓶颈或浪费。具体问题在于：1）不同阶段对模型容量的敏感性不同，2）未有系统性研究指导模型规模的差异化配置，3）缺乏实证数据支持优化策略。这些问题限制了自我细化系统的效率和效果，亟需通过控制变量实验明确模型容量对每个环节的具体影响，从而实现资源的最优配置。
核心创新
本研究的核心创新在于：1）提出阶段性模型容量分析框架，系统性评估生成器、批评者和修正器的模型规模对性能的影响；2）采用多模型家族（Qwen3和Gemma3）在五个不同任务上进行大规模实证验证，确保结论的普适性；3）发现扩大生成器和修正器模型规模显著提升性能，而批评者模型敏感性较低，为资源优化提供理论依据；4）提出非均匀模型容量分配策略，突破传统的整体扩展思路，推动多阶段系统的高效设计。
方法详解
- �� 设计阶段性模型容量变化的对比实验，控制生成器、批评者和修正器的模型规模，单独调整目标阶段，保持其他两个阶段模型不变。
- �� 使用Qwen3（0.6B到32B）和Gemma3（1B到27B）两大模型家族，覆盖多种参数规模。
- �� 在五个任务基准（会议规划、新闻摘要、逻辑推理、代码优化、故事生成）上进行性能评估，采用任务特定指标（如准确率、覆盖率、格点准确率等）。
- �� 统计性能变异范围（∆）和标准差（σ），分析模型规模对性能的敏感性。
- �� 引入无批评基线（直接修正）对比，验证批评机制的贡献。
- �� 逐阶段调整模型规模，绘制性能曲线，识别不同阶段的敏感性差异。
实验设计
实验在五个多样化任务上进行，包括会议安排、新闻摘要、逻辑谜题、代码优化和故事生成。每个任务使用不同的性能指标，确保覆盖推理和生成的多样场景。模型规模从0.6B到32B不等，控制每次只调整一个阶段模型，其他两个阶段保持最大规模。采用多模型家族验证结论的普适性。每个实验重复多次，统计性能范围和标准差，分析模型容量对性能的影响。还引入无批评基线，评估批评机制的实际贡献。通过大量数据，验证不同阶段模型规模的敏感性差异，为模型容量配置提供实证依据。
结果分析
扩大生成器和修正器模型规模显著提升性能，最大模型（Qwen3-32B）在所有任务中表现最佳，性能提升平均超过10个百分点。批评者模型规模变化对性能影响有限，标准差低于3.1个百分点，说明其敏感性较低。即使是最小批评者（0.6B）也优于无批评基线，验证批评机制的有效性。分析显示，批评者模型的质量变化不大，但更大模型能检测更多错误，提供更完整反馈，但未能显著改善修正效果，提示修正器对批评信息的利用有限。这些结果为模型容量的非均匀配置提供了实证支持。
应用场景
该研究为多阶段自我细化系统的设计提供理论指导，适用于推理增强、自动规划、代码生成等场景。通过合理配置模型规模，可在保证性能的同时降低计算成本，提升实际应用的效率。未来在多模态、多任务环境中，结合动态模型调度，将实现更智能、更高效的系统部署。
局限与展望
实验主要在两个模型家族上验证，未来需扩展到更多架构和任务类型以验证普适性。模型容量调整为静态配置，未考虑动态调节策略，实际应用中可能需结合任务复杂度进行优化。对训练成本和推理效率影响分析不足，实际部署时需权衡性能与成本。未来应探索动态容量调节和多模态多任务的适应性策略，以解决现有局限。
通俗解读 非专业人士也能看懂
想象你在准备一场盛大的宴会。宴会需要厨师、服务员和厨具三个环节。厨师负责做菜，越厉害的厨师做得越好；服务员负责端菜，水平高低影响不大；厨具则是用来帮厨师和服务员工作的工具。你会发现，让厨师更厉害（模型越大）能做出更好菜肴，但增加厨具（批评者）或服务员（修正器）并不一定带来明显改善。其实，厨房里不同角色的作用不同，合理配置资源，才能既省钱又保证菜品质量。这就像论文中发现的：在多轮自我优化中，生成和修正环节越强越好，而批评环节不需要太大，合理分配模型容量能让整个系统更高效。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏。你有三个助手：一个帮你拼图（生成器），一个检查拼图是否正确（批评者），还有一个帮你修正错误（修正器）。如果你让拼图助手变得更厉害（模型更大），拼图速度和质量都会提高。但如果检查员（批评者）太小，它还是能帮你指出一些明显的错误，而且即使很小也比没有检查员好。其实，拼图助手和修正员的能力越强越能帮你快点完成，但检查员的能力对最终效果影响不大。这个故事告诉我们，在复杂的任务中，不同助手的重要性不同，合理分配他们的能力，能让你更快更好地完成拼图！
原文摘要
Self-refinement, typically structured as generation, critique, and revision, is a widely adopted paradigm for improving LLM generation and serves as a core mechanism in many LLM agents. While the three stages involve different cognitive demands, most existing approaches conveniently treat the model size as an implementation detail rather than a subject of study, which may lead to a waste of resources. Little work has systematically examined how model size affects each stage or whether effective self-refinement requires equally capable models for generation, critique, and revision. We present the first stage-wise model size study of the self-refinement pipeline on 5 benchmarks from different domains using 6 model sizes of Qwen3 and 4 model sizes of Gemma 3. We conclude that larger generators and refiners generally improve the pipeline, whereas an undersized refiner can even harm performance. Second, performance is highly insensitive to the size of the critic, although including even a small critic consistently outperforms omitting critique altogether. Our findings demonstrate that model capacity should not be allocated uniformly across self-refinement pipelines. Instead, different stages exhibit distinct size scaling characteristics, providing practical guidance for designing more computationally efficient multi-stage language model systems.