核心发现
方法论
UpgradeBench是一个纵向基准，覆盖四个Qwen版本、一个延续检查点、六个任务和两个模型规模。它解答了三个核心问题：新检查点是否提升固定配方重训练专家的表现，专业化资产是否可移植，以及哪些恢复资源可用。通过33次升级模拟，平均质量遗憾为0.37pp，计算和标签成本仅为全重训练的三分之一。
关键结果
- 在33次升级模拟中，平均质量遗憾为0.37pp，没有行为回归，计算和标签成本仅为全重训练的三分之一。
- 直接适配器复制在OLMo上，保留率从46B-token的0.88-0.99下降到2.9T-token时的零。
- 通过256个提示的轻量级CKA探测预测跨版本适配器的可移植性，Spearman相关系数为0.74。
研究意义
UpgradeBench为语言模型的升级决策提供了一个系统化的评估工具，解决了在实际模型发布序列中迁移决策的评估问题。它为学术界和工业界提供了一个衡量模型升级策略有效性的标准，尤其是在适配器迁移和资源利用方面。
技术贡献
该研究提供了一个完整的开放权重模型发布系列的基准测试，首次测量了保留、恢复成本和专业化半衰期。它还提供了一个测量冻结、迁移、刷新和重训练决策的地图，并展示了适配器复制在独立预训练运行之间失败的情况。
新颖性
UpgradeBench首次提供了一个完整的、真实的发布序列基准测试，评估了冻结、迁移、刷新和重训练决策空间。它揭示了适配器复制的失败与预训练权重的连续性有关，而不是与网络结构有关。
局限性
- 适配器复制在独立预训练运行之间失败，表明需要连续的权重。
- 在某些任务上，升级收益在训练噪声范围内保持不变。
未来方向
未来的研究可以探索更多的迁移策略和适配器设计，特别是在不同的模型架构和任务之间的迁移能力上。
AI 总览摘要
在现代语言模型的快速发展中，组织面临着如何有效升级其任务特定适配器的挑战。现有的迁移学习研究通常只评估孤立的模型对，而没有在真实的模型发布序列中研究这些选择。UpgradeBench是一个决策驱动的纵向基准，涵盖了四个连续的Qwen版本、一个延续检查点、六个任务和两个模型规模，并通过已知训练谱系的OLMo检查点进行增强。
UpgradeBench的研究揭示了适配器复制的成败与预训练权重的连续性有关，而不是与网络结构有关。在OLMo上，保留率从46B-token的0.88-0.99下降到2.9T-token时的零。通过256个提示的轻量级CKA探测，预测跨版本适配器的可移植性，Spearman相关系数为0.74。
通过33次升级模拟，平均质量遗憾为0.37pp，没有行为回归，计算和标签成本仅为全重训练的三分之一。UpgradeBench为语言模型的升级决策提供了一个系统化的评估工具，解决了在实际模型发布序列中迁移决策的评估问题。
深度解读
原文摘要
Organizations maintain task-specific adapters for open-weight language models, and each new base-model release forces a migration decision: retain existing specialists, port adapters, refresh from preserved behavior, or retrain. Prior transfer work evaluates isolated model pairs, without studying these choices across real model release sequences. We present UpgradeBench, a decision-driven longitudinal benchmark covering four consecutive Qwen releases, one continuation checkpoint, six tasks, and two model sizes, augmented by OLMo checkpoints with known training lineage. The benchmark disentangles three core questions: whether a new checkpoint improves fixed-recipe retrained specialist performance, whether specialization assets transfer across versions, and what recovery resources are usable. We observe upgrade gains differ across task-scale-release episodes: some retrained baselines improve while others stay within training noise, with durability ranging from under one release interval for text-to-SQL to over fourteen months for intent classification. Direct adapter copying depends neither on architecture nor model family: on OLMo, retention drops from 0.88-0.99 at 46B-token continued pretraining to zero at 2.9T tokens; annealing and model souping introduce no extra harm, with portability decaying with continued-pretraining distance. Given preserved input data, teacher relabeling recovers target-base specialists without fresh gold annotations, though compute savings are not guaranteed. Simulating a fixed decision policy over 33 upgrade episodes yields 0.37pp mean quality regret with zero behavioral regressions at one-third the compute and label cost of full retraining. A lightweight CKA probe over 256 prompts predicts cross-version adapter portability (Spearman 0.74 across eight model pairs). We release per-example predictions, cost logs, split manifests, and evaluation code.