核心发现
方法论
采用基于Massively Multi-Domain Dataset (M2D2)的连续预训练框架，比较GPT-2、Llama2-7B等模型在不同域顺序和模型规模下的表现。使用 perplexity 作为主要指标，结合模型微调和知识迁移分析，评估模型在新旧域中的知识保持与迁移能力，重点考察模型大小对遗忘和学习效率的影响。
关键结果
- 持续预训练显著提升<1.5B模型的性能，优于单纯域适应，GPT-2在所有规模上均表现出 perplexity 改进，Llama2-7B则无明显收益。模型越大，表现越优，且遗忘率降低。
- 模型规模与性能正相关，GPT-2-XL在所有域中 perplexity 最佳，模型越小，学习和遗忘波动越大。随机训练域顺序能改善知识迁移，相关域顺序则增强特定域适应。
- 持续预训练显著提升GPT-2家族模型在下游任务中的表现，特别是在语义相似域中，模型能更好地专精；随机域顺序则促进迁移效果，提升最终性能。
研究意义
本研究建立了大规模语言模型持续预训练的全新基准，突破了传统小规模CL评估的局限，提供了更贴近实际应用的模型适应性与知识保持分析。其结果对模型设计、域适应策略及未来多任务学习具有重要指导意义，有助推动大模型在动态环境中的持续学习能力。研究揭示模型规模、域关系对知识迁移和遗忘的深刻影响，为未来模型优化提供理论基础。
技术贡献
首次系统性评估了不同规模LLMs在多域连续预训练中的表现差异，提出了基于 perplexity 的多维评估指标体系，结合模型大小、域顺序、域相似性分析模型的知识迁移与遗忘机制。引入新型基准和数据集，丰富了持续学习在大模型中的应用场景，为未来模型的持续学习策略提供了实证依据。
新颖性
本研究首次在大规模、多域、多模型规模背景下，系统性分析持续预训练的效果与机制，提出了多维评估指标，突破了传统小模型、单域评估的局限，强调模型规模与域关系在持续学习中的关键作用，具有较强创新性。
局限性
- 实验主要集中在特定模型（GPT-2、Llama2-7B）和域集合，泛化到其他模型架构和更复杂域仍需验证。
- 模型遗忘机制未深入探讨，未来需结合正则化或记忆增强等技术改善知识保持。
- 高性能模型训练成本较大，实际应用中需考虑计算资源限制。
未来方向
未来将探索多任务、多模态场景下的持续预训练策略，结合知识图谱和强化学习技术，提升模型的持续适应能力。同时，研究模型遗忘机制的调控方法，优化模型在动态环境中的表现，推动大模型的持续学习理论与实践发展。
AI 总览摘要
近年来，随着大规模预训练模型（如GPT-2、Llama2）在自然语言处理中的广泛应用，模型的持续学习能力成为研究焦点。传统方法多关注微调特定任务，缺乏对模型在多域环境中知识保持和迁移的系统分析。本文提出了针对大模型的持续预训练新基准，利用涵盖236个领域的M2D2数据集，系统评估不同模型规模在连续预训练中的表现差异。研究发现，模型越大，遗忘越少，性能越优，持续预训练明显优于单纯域适应。随机域顺序有助于知识迁移，相关域顺序则提升模型专精能力。实验还表明，持续预训练可以显著提升模型在下游任务中的表现，尤其在语义相似域中表现优异。这一研究不仅丰富了大模型持续学习的理论体系，也为未来模型设计提供了实证基础。尽管如此，模型规模、计算成本和域关系等因素仍是未来研究的挑战。整体而言，本文为大规模语言模型的持续学习提供了新的评估框架和实践指南，推动模型在动态环境中的持续适应能力。
深度分析
研究背景
自然语言处理（NLP）近年来经历了由Transformer架构推动的快速发展，代表性工作如BERT、GPT系列极大提升了模型能力。随着模型规模的扩大，预训练在大规模语料上的效果显著，但训练成本高昂，生态和经济压力日益增加。传统微调方法在特定任务上表现优异，但缺乏对模型在多域、多任务环境中的持续适应能力分析。近年来，持续学习（Continual Learning, CL）成为解决模型遗忘和迁移的关键技术，尤其在大模型中应用尚处于探索阶段。已有研究如Gururangan等（2020）在有限域上验证了持续预训练的潜力，但缺乏大规模、多域、多模型尺度的系统评估。本文基于M2D2数据集，系统分析了GPT-2、Llama2-7B等模型在多域连续预训练中的表现差异，填补了这一研究空白。
核心问题
大规模语言模型在多域环境中的持续学习面临多重挑战，包括遗忘、知识迁移效率低、模型规模对性能影响不明等。传统评估多集中在小模型或单域微调，难以反映实际应用中的复杂场景。如何在保证模型性能的同时，减少遗忘、提升迁移能力，成为亟待解决的问题。此外，不同模型规模对持续预训练的敏感性差异，也未被系统研究。解决这些问题对于推动大模型在动态、多变环境中的应用具有重要意义。
核心创新
本研究的创新点包括：1）提出了基于大规模多域数据集的持续预训练新基准，系统评估模型在不同规模和域顺序下的表现；2）引入多维指标体系（如 perplexity、遗忘率、迁移效果）全面衡量模型能力；3）分析模型规模、域关系对知识迁移和遗忘的影响，揭示了模型越大越抗遗忘的规律；4）验证随机域顺序在迁移和遗忘控制中的优势，丰富了持续学习策略的理解。此创新结合了大模型、复杂域和多指标评估，为学界提供了新的研究范式。
方法详解
- �� 以预训练模型（GPT-2、Llama2-7B）为基础，利用M2D2多域数据集，逐步进行连续预训练。
- �� 采用不同域顺序（相似域与随机域）安排训练任务，比较其对模型性能的影响。
- �� 评估指标包括 perplexity、遗忘率（perplexity差异）、迁移效果（前向/后向转移）以及下游任务表现。
- �� 利用Sentence-BERT计算域间相似性，指导域顺序设计。
- �� 通过多次实验，分析模型规模对学习、遗忘和迁移的影响，结合统计分析验证结论。
实验设计
- �� 采用M2D2数据集（236域，8.5亿tokens）进行模型连续预训练，模型包括GPT-2（S、M、L、XL）和Llama2-7B。
- �� 训练采用Adam优化器，批次大小16，使用DeepSpeed加速。
- �� 设计域顺序（相似与随机），评估模型在每个阶段的 perplexity 和遗忘情况。
- �� 进行下游任务（如BIG-Bench）微调，验证预训练带来的性能提升。
- �� 通过多次重复实验，确保结果的统计显著性，分析模型大小与表现关系。
结果分析
- �� 持续预训练显著改善GPT-2模型（如GPT2-XL perplexity降低20%以上），Llama2-7B无明显提升，说明模型规模和数据量影响效果。
- �� 模型越大，遗忘越少，性能越稳，GPT-2-XL在所有域中表现最佳。
- �� 随机域顺序提升迁移能力，相关域顺序增强特定域的专精，验证了域关系的重要性。
- �� 持续预训练在下游任务中表现优异，尤其在语义相似域中，模型能更好地专精，迁移效果显著。
应用场景
- �� 适用于需要模型持续适应新知识的场景，如企业知识库更新、个性化推荐系统、动态问答系统。
- �� 通过持续预训练，模型能在不重新训练的情况下，快速适应新领域，降低成本。
- �� 长远来看，有望实现跨域、多任务的通用大模型，推动智能助手、自动化科研等行业变革。
局限与展望
- �� 当前实验受限于模型规模和数据集范围，实际应用中需考虑算力和存储成本。
- �� 遗忘机制未被深入研究，未来需结合正则化或记忆增强技术改善知识保持。
- �� 不同域之间的相似性影响迁移效果，域关系复杂，需更精细的域划分与策略优化。
通俗解读 非专业人士也能看懂
想象你在一家厨房里做饭，厨师需要不断学习新菜谱，同时记住以前的菜。每次尝试新菜谱，就像模型接受新域的训练。大厨（大模型）因为经验丰富，能更快学会新菜，还不容易忘记旧菜。而小厨师（小模型）虽然学习快，但容易忘记，甚至会把新菜搞砸。随机学习不同菜谱顺序，就像随机域顺序，有时能帮厨师更灵活应对各种菜肴。持续学习就像不断练习和总结，最终厨师能在厨房里应对各种挑战，做出美味佳肴。这就像模型在不断吸收新知识，保持旧知识，变得越来越厉害。
简单解释 像给14岁少年讲一样
想象你在学校里学新东西，比如数学、科学、历史。每次学完一门课，你都希望记住内容，还能用到未来的考试或项目。有时候，你学的顺序很重要，比如先学数学，再学物理，这样理解会更顺畅。有时候，随机学一些不同的科目，也能帮你变得更灵活。大哥哥（大模型）就像学习很多科目的高手，记忆力强，不容易忘记，学得快；而小弟弟（小模型）虽然学得快，但容易忘记东西。研究发现，随机学习顺序可以让你更好地迁移知识，学到的东西也更有用。这就像模型不断学习新知识，保持旧的，还能灵活应对各种问题。
原文摘要
Continual learning (CL) in large language models (LLMs) is an evolving domain that focuses on developing efficient and sustainable training strategies to adapt models to emerging knowledge and achieve robustness in dynamic environments. Our primary emphasis is on continual domain-adaptive pretraining, a process designed to equip LLMs with the ability to integrate new information from various domains while retaining previously learned knowledge. Since existing works concentrate mostly on continual fine-tuning for a limited selection of downstream tasks or training domains, we introduce a new benchmark designed to measure the adaptability of LLMs to changing pretraining data landscapes. We further examine the impact of model size on learning efficacy and forgetting, as well as how the progression and similarity of emerging domains affect the knowledge transfer within these models. Our findings uncover several key insights: (i) continual pretraining consistently improves <1.5B models studied in this work and is also superior to domain adaptation, (ii) larger models always achieve better perplexity than smaller ones when continually pretrained on the same corpus, (iii) smaller models are particularly sensitive to continual pretraining, showing the most significant rates of both learning and forgetting, (iv) continual pretraining boosts downstream task performance of GPT-2 family, (v) continual pretraining enables LLMs to specialize better when the sequence of domains shows semantic similarity while randomizing training domains leads to better transfer and final performance otherwise. We posit that our research establishes a new benchmark for CL in LLMs, providing a more realistic evaluation of knowledge retention and transfer across diverse domains.