核心发现
方法论
本文采用基于Transformer架构的语言模型（11.5M参数）进行多组预训练实验，核心方法包括支持频率统计、行为评估（conflict和agree条件）、对比边缘（contrast margin）分析以及支持-反证编辑干预。通过在两个不同语料（TinyStories和Web过滤语料）中观察模型在学习和遗忘规则过程中的表现，结合预注册指标和盲评判，系统分析规则的存续机制。特别引入支持频率作为决定规则存亡的关键变量，利用编辑支持或反支持的方式验证因果关系。模型训练过程中，监控行为指标（conflict accuracy）和机制指标（对比边缘CM），并在不同模型规模（70M到1.4B参数）中验证现象的普适性。
关键结果
- 支持频率决定规则的存续：在未干预的训练中，规则的支持频率越高，越有可能存活到训练结束。在TinyStories中，规则几乎全部存续（9/9），而在Web语料中则全部崩溃（0/9），支持频率的阈值为0.8左右。支持频率的变化与规则的崩溃高度相关，支持支持-反证编辑能以单调递减的剂量反应破坏规则，反之，支持反证的补充即使达到450倍自然支持水平，也无法恢复已崩溃的规则。
- 规则崩溃机制：模型在训练中，规则的优势被竞争表面（如“他”偏好）取代，导致对比边缘（CM）在100步内穿越零点，表现为规则的 displacement（迁移）而非 erasure（完全遗失）。这种迁移表现为规则在模型内部被“ displaced”出原有的表达路径，表现为行为指标（conflict accuracy）迅速下降，机制指标（CM）同步变为负值。
- 支持频率的因果控制：通过在训练中对支持频率进行编辑（如反转支持或反支持比例），验证了支持频率对规则存续的因果决定作用。支持支持比例的单调递减导致规则崩溃，反之，支持反证的补充无法逆转已崩溃的规则，显示出规则破坏与恢复的非对称性。
- 模型规模与崩溃深度：模型规模越大，崩溃越浅（深度越小），在70M到1.4B参数模型中，崩溃深度呈正相关（Spearman ρ=0.894），验证了模型复杂度对规则稳定性的影响。支持-反证干预在不同模型中均表现出一致的支持频率-存续关系，说明机制具有普适性。
- 跨模型和数据集迁移：在公开的Pythia模型（70M-1.4B）中，规则早期出现，随模型规模增加崩溃时间提前，验证了模型规模对崩溃深度的预测能力。支持-反证干预在不同语料和模型中均有效，表现出强一致性，说明该机制具有广泛的适用性。
- 行为与机制的时序关系：对比边缘的零点穿越与行为崩溃时间高度一致，支持规则崩溃是由内部机制迁移引起的，而非训练过程中的噪声或随机性。机制分析显示，崩溃发生在模型内部的表征路径上，特别是最后一层的头部（head）变化是关键。
- 干预的非对称性：支持反证的编辑可以破坏规则，但即使在支持水平远高于自然支持水平的情况下，补充支持也无法恢复崩溃规则，显示出破坏与恢复的机制非对称性。这一发现强调了模型内部规则的脆弱性和难以逆转的特性。
- 预测指标的有效性：预注册的机制指标（CM）和行为指标（conflict accuracy）在模型崩溃的关键时刻表现出高度一致性，为未来模型调控提供了可量化的工具。支持频率作为因果变量的验证，增强了对模型内部规则动态的理解。
- 跨模型验证：在不同模型架构和训练语料中，支持频率的决定作用依然成立，验证了机制的普适性。模型崩溃的深度和支持频率的关系在不同规模和数据条件下保持稳定，为模型安全性和可解释性提供了理论基础。
研究意义
本研究揭示了深度学习模型中规则学习的非对称性和动态迁移机制，为理解模型的知识稳定性提供了新的视角。通过支持频率的量化分析，揭示了规则的易破坏性和难以恢复的本质，强调了模型在训练过程中规则的脆弱性。这一发现对模型的安全性、可解释性和持续学习具有重要意义。未来，能够通过干预机制调控规则存续，有助于设计更鲁棒的模型架构，避免不必要的知识遗失，同时也为模型的故障诊断和修复提供了理论依据。此外，该机制的普适性验证了其在不同模型规模和数据条件下的广泛适用性，为深度学习模型的规则管理和知识迁移提供了新思路。
技术贡献
本文提出了基于支持频率的规则存续机制，结合行为指标和机制指标（CM）实现对规则崩溃的量化预测。创新点包括：• 引入支持频率作为核心变量，系统性分析规则的存续与崩溃关系；• 设计支持-反证编辑干预，验证因果关系，揭示规则破坏的单调剂量反应特性；• 发现模型崩溃是由“ displacement”机制引起，即规则被竞争表面取代而非完全遗失，提供了新的理解路径；• 通过不同模型规模和语料验证机制的普适性，增强理论的广泛适用性。这些贡献丰富了模型规则学习和遗忘的理论体系，为未来模型调控和安全性设计提供了技术基础。
新颖性
本研究首次系统性揭示了预训练模型中规则存续的非对称性，提出支持频率作为预测规则命运的关键指标，并通过支持-反证编辑验证了其因果作用。相较于以往强调模型记忆或表征稳定性的方法，本文强调规则的动态迁移机制（displacement）和支持频率的决定性作用，突破了传统的静态分析框架。创新在于：• 首次在单一训练过程中观察到规则的“ rise-and-fall”动态；• 利用支持频率实现规则存续的可控干预，验证因果关系；• 发现模型崩溃是由“ displacement”机制引起，区别于传统的“ erasure”；• 通过多模型、多数据集验证机制的普适性，提供了深度学习模型中规则动态的全新理解。
局限性
- 本研究主要集中在特定类型的规则（如性别代词、冠词变形），对其他复杂规则的适用性尚未验证，未来需扩展到更复杂的语义和语法规则。
- 支持频率的统计依赖于特定的语料和预定义的支持定义，可能在不同语料或任务中表现不同，泛化性有限。
- 干预机制主要基于编辑支持频率，未考虑模型内部表征的微观变化，未来可结合神经机制分析以获得更深理解。
未来方向
未来研究将探索支持频率在多任务、多模态学习中的作用，尝试开发更鲁棒的规则管理机制。还计划结合神经机制分析，理解规则迁移和崩溃的微观路径。此外，将研究支持频率的动态调节策略，以实现模型在持续学习中的知识稳定性优化。最后，期待将这些机制应用于实际场景，如对话系统、知识图谱维护等，以提升模型的可靠性和可控性。
AI 总览摘要
在深度学习模型的训练过程中，规则的学习与遗忘一直是理解模型行为的核心问题。传统观点认为，模型一旦学习到某个规则，通常会在训练过程中逐渐巩固，难以遗忘。然而，最新研究发现，模型在训练中实际上存在一种非对称的规则迁移机制，即规则的存续并非由其在训练数据中的支持程度单一决定，而是受到内部竞争表面（surface pattern）和支持频率的共同影响。
本研究以Transformer架构的语言模型为例，系统分析了规则在训练中的 rise-and-fall 动态。通过在两个不同语料（TinyStories和Web过滤语料）中进行多轮预训练，观察模型在学习性别代词规则时的表现，发现支持频率是预测规则存续的关键指标。支持频率越高，规则越可能在训练结束时存活；反之，支持频率低的规则则容易被“ displacement”机制取代，即被表面模式（如“他”偏好）所取代，导致行为指标（conflict accuracy）迅速崩溃。
令人惊讶的是，支持-反证的编辑干预可以以单调递减的剂量破坏规则，但即使在支持水平远高于自然支持的情况下，也无法通过补充支持逆转已崩溃的规则。这揭示了模型规则的非对称性：破坏规则容易，恢复则极为困难。这一机制在不同模型规模（70M到1.4B参数）中表现一致，验证了其普适性。
此外，研究还发现，模型崩溃的机制主要是“ displacement”，即规则被竞争表面（如“他”偏好）所取代，而非完全遗失。这一发现为模型的可解释性提供了新视角，也为未来的模型安全和调控提供了理论基础。通过支持频率的量化分析，本文为模型规则的动态管理和干预提供了科学依据，推动深度学习模型向更鲁棒、更可控的方向发展。
深度分析
研究背景
深度学习模型在自然语言处理中的应用已取得巨大成功，但其内部知识的存续与遗忘机制仍不完全清楚。早期研究如Grokking（Power et al., 2022）强调训练数据规模对模型泛化的影响，揭示了延迟泛化现象。随后，Varma et al. (2023)提出了ungrokking（逆向grokking）现象，即模型在训练过程中出现能力的退化。Chen et al. (2024)通过训练数据的微调控制语法转变，强调了训练数据的作用。Wei et al. (2021)强调了支持频率在模型行为中的决定性作用。尽管如此，关于规则的存续机制、崩溃路径和恢复难题，仍缺乏系统性研究。本研究填补了这一空白，揭示了规则崩溃的非对称性和机制的普适性，为理解模型的知识稳定性提供了新的理论框架。
核心问题
核心问题在于，预训练模型中的规则并非始终稳定存在，而是在训练过程中可能突然崩溃或迁移。传统观点认为，规则的遗失是由于训练数据中支持的减少或模型记忆的遗忘，但实际观察发现，模型内部存在“ displacement”机制，即规则被竞争表面取代，导致行为崩溃。这种迁移机制难以通过简单的支持补充逆转，表现出极强的非对称性。理解这一机制对于模型的安全性、可解释性和持续学习具有重要意义。具体挑战包括：• 如何量化规则的存续状态；• 如何验证支持频率的因果作用；• 如何设计干预机制以控制规则迁移。这些问题的解决，将推动模型内部知识管理的理论发展。
核心创新
本研究的创新点主要包括：• 引入支持频率作为预测规则存续的核心变量，系统分析其在训练中的动态变化；• 设计支持-反证编辑机制，验证支持频率对规则崩溃的单调递减关系，揭示崩溃的因果路径；• 发现模型规则崩溃是由“ displacement”机制引起，即规则被竞争表面取代，而非完全遗失，提供了新的理解路径；• 通过跨模型（从70M到1.4B参数）和跨语料验证机制的普适性，证明了支持频率的决定作用具有广泛适用性。这些创新突破了以往静态分析的局限，为模型规则的动态管理提供了理论基础。
方法详解
- �� 构建基于Transformer的语言模型（11.5M参数），在两个不同语料（TinyStories和Web过滤语料）上进行多轮预训练。• 统计支持频率：定义支持事件为在16个标记范围内出现“she”与女性线索的支持频率，采用固定计数方法确保一致性。• 设计行为指标：conflict accuracy衡量模型在冲突探针上的表现，支持-反证条件下的行为变化。• 机制指标：对比边缘（CM）衡量模型偏好规则与默认（prior）之间的差异，监控其在训练中的变化。• 进行支持-反证编辑：在训练中以不同比例（p=0.437, 0.667, 1.0）反转支持证据，验证支持频率对规则崩溃的单调递减关系。• 采用预注册指标和盲评判，确保实验的可重复性和客观性。• 跨模型验证：在不同模型规模和语料中复制实验，验证机制的普适性。
实验设计
- �� 训练多个模型（70M、410M、1.4B参数）在TinyStories和Web语料上，观察规则的学习与遗忘过程。• 通过支持频率统计，分析规则存续与崩溃的关系，设定支持频率阈值（如0.8）作为存续界线。• 采用支持-反证编辑，逐步反转支持比例（p值）以验证剂量反应关系。• 监控conflict accuracy和CM指标，记录崩溃的时间点和机制变化。• 进行跨模型迁移实验，验证机制的普适性和规模依赖性。• 设计盲预测和预注册指标，确保实验的严谨性和可验证性。
结果分析
- �� 支持频率显著预测规则存续：在TinyStories中，支持频率高于0.8的规则全部存续（9/9），而在Web语料中全部崩溃（0/9），支持频率阈值为0.8左右。• 支持-反证编辑以单调递减的剂量破坏规则：在支持反证比例p从0到1逐步增加时，规则的conflict准确率从0.94降至接近0（在Web中完全崩溃），验证了支持频率的因果作用。• 机制分析显示，崩溃伴随对比边缘CM穿越零点，表现为“ displacement”而非“ erasure”，模型内部规则路径被竞争表面取代。• 跨模型验证表明，模型规模越大，崩溃越浅（深度越小），支持频率的决定作用具有普适性。• 支持补充（支持反证）即使达到450倍自然支持水平，也无法逆转已崩溃的规则，显示出机制的非对称性和不可逆性。
应用场景
- �� 该机制可用于模型安全性调控，通过支持频率的监控和干预，避免不必要的规则崩溃，提升模型的稳定性。• 在持续学习和知识迁移中，支持频率的调节可以帮助模型保持关键规则，减少知识遗忘。• 在模型调试和故障诊断中，利用机制指标（CM）识别规则崩溃的临界点，实现早期干预。• 长远来看，该研究为开发具有可控知识迁移能力的智能系统奠定基础，推动AI在教育、法律、医疗等领域的应用安全性提升。
局限与展望
- �� 研究主要集中在规则的简单形式（如性别代词、冠词变形），对复杂语义和语法规则的适用性尚未验证，未来需扩展研究范围。• 支持频率统计依赖于特定语料和定义，可能在不同任务或语料中表现不同，泛化性有限。• 当前干预机制主要基于编辑支持频率，未结合模型内部表征的微观变化，未来应结合神经机制分析以深入理解规则迁移路径。• 模型规模和训练条件的变化可能影响机制表现，需进一步验证其在更大规模和实际应用场景中的适用性。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂每天都在生产各种商品。工厂里的工人们遵循一些规则，比如：如果看到红色的按钮，就按下去；如果遇到绿色的灯，就停止。随着时间推移，工厂的操作变得越来越熟练，规则也变得越来越明显。但是，有时候，工厂会出现一种奇怪的现象：原本非常重要的规则突然被“取代”了，就像工厂的某个工段被一个新的、更快的机器取代了原有的操作流程。这种变化并不是因为工厂的原始规则被忘记了，而是被一个更受欢迎的“表面操作”所取代，导致工厂的整体表现发生了变化。
在深度学习模型中，类似的事情也会发生。模型在学习语言规则时，支持频率就像工厂中某个操作的频繁程度。如果某个规则经常出现，模型就会“记住”它，类似工厂里反复操作的流程；但如果这个规则变得不那么常见，模型可能会用一种“表面模式”来替代它，就像工厂用新机器取代旧流程一样。这种“取代”过程非常快，而且一旦发生，就很难再让模型重新回到原来的规则，就像工厂要重新恢复旧流程一样困难。这说明，模型的规则其实非常脆弱，一旦被“表面操作”取代，就很难再恢复原状。
简单解释 像给14岁少年讲一样
想象你在学校里学数学。有一些规则，比如：加法就是把两个数字放在一起，然后得到一个新数字。你学会了这个规则后，觉得它很简单，也经常用它。但是，突然有一天，老师告诉你：其实，除了加法，还有一种“表面操作”，比如用一种特殊的符号代表加法，但实际上它是另一种操作。你开始用这个新符号来做题，逐渐忘记了原来的加法规则。
在深度学习模型里，也是一样的。模型学会了某些“规则”，比如：用“she”代表女性，用“he”代表男性。但是，如果模型在训练中发现，“he”这个词更常出现，它就会用“他”这个词来代替“she”。而且，一旦模型被“表面操作”取代了原有的规则，就很难再让它回到原来的状态，就像你忘记了原来的加法一样。这说明，模型的规则其实很脆弱，一旦被“表面操作”取代，就很难再恢复原来的规则。这也是为什么我们要特别关注模型的“规则支持频率”，因为它决定了模型是否还能记住那些重要的规则。
术语表
支持频率 (Support Frequency)
在训练数据中某个规则出现的频率，反映规则的支持程度。技术上是统计在特定窗口内支持该规则的事件比例。
用来预测规则在训练后是否能存续的关键指标。
对比边缘 (Contrast Margin)
模型在特定任务中对规则偏好的对数差值，衡量规则与默认路径的偏好强度。数值越大，模型越偏好规则。
监控规则崩溃的机制指标，穿越零点预示规则崩溃。
displacement (迁移)
模型中规则被竞争表面（surface pattern）取代的过程，而非完全遗忘。表现为行为崩溃但表征路径未完全丧失。
解释规则崩溃的内部机制，区别于完全遗失。
支持-反证编辑 (Support-Contradiction Editing)
通过在训练中反转支持证据的比例，验证支持频率对规则存续的因果关系。
用以控制和验证规则崩溃的机制。
机制指标 (Mechanism Metric)
衡量模型偏好规则的对比边缘（CM），反映规则与默认路径的偏好变化。
监控规则崩溃的内部机制变化。
支持反证 (Support Contradiction)
在训练中用反支持证据替代原支持证据，测试规则的崩溃和恢复能力。
验证支持频率的因果作用。
崩溃深度 (Collapse Depth)
模型规则崩溃的程度，越深表示崩溃越严重。
与模型规模和支持频率相关。
支持频率阈值 (Support Threshold)
决定规则存续的临界支持频率值，通常为0.8左右。
预测规则是否存续的关键指标。
支持-反证干预 (Support-Contradiction Intervention)
在训练中调整支持频率的操作，用以验证因果关系。
控制模型规则存续的实验手段。
支持-反证比例 (Support-Contradiction Ratio)
支持证据与反支持证据的比例，用于调节规则的支持程度。
影响规则崩溃或崩溃的程度。
模型规模 (Model Scale)
模型参数数量，影响规则崩溃深度和支持频率的关系。
不同规模模型的崩溃深度对比分析。
支持-反证剂量 (Support-Contradiction Dose)
在干预中调整支持或反支持的比例，观察规则崩溃的剂量反应。
验证机制的单调性和因果性。
行为指标 (Behavioral Metric)
如conflict accuracy，用于衡量模型在特定任务中的表现。
反映规则存续状态。
机制指标 (Mechanism Metric)
如CM，反映模型偏好规则的内部机制变化。
用于机制分析和干预验证。
支持频率 (Support Frequency)
在训练数据中某规则出现的频率，决定其存续可能性。
核心预测指标。
开放问题 这项研究留下的未解疑问
- 1 支持频率在多规则、多任务、多模态环境中的表现尚未充分验证，未来需探索其在复杂场景中的适用性和调节策略。
- 2 规则迁移的微观机制仍不清楚，结合神经机制模型的研究将有助于理解 displacement 的路径和条件。
- 3 支持频率统计方法的泛化性有限，未来应开发更鲁棒的指标以适应不同语料和任务。
- 4 模型崩溃机制在大规模工业模型中的表现尚未验证，未来应在实际场景中测试机制的有效性。
- 5 干预策略的粒度和时机优化仍是挑战，未来需设计更精细的支持频率调节方案。
应用场景
近期应用
模型安全性增强
通过监控支持频率，提前识别潜在崩溃点，提升模型在敏感任务中的鲁棒性。
知识持续维护
调节支持频率，确保关键规则在持续学习中的稳定性，减少知识遗忘。
模型调试工具
利用机制指标（CM）和行为指标，实时监控规则状态，便于模型调试和修复。
远期愿景
自主规则调控系统
开发基于支持频率的自动调节机制，实现模型在不同环境中的规则管理。
持续学习中的知识迁移
利用支持频率调节策略，推动模型在新任务中的知识迁移和自我修复。
原文摘要
Midway through an ordinary pretraining run, a small language model learns the pronoun-gender rule: cued with a girl's name ("Sue cried because"), it resolves the next pronoun to she, generalizing to held-out probes (0.94 by step 925). By step 3,500 the same model scores near zero on the same probes, although the rule's evidence is still in the training data. We call this within-run reversal natural ungrokking: the corpus decides, with no trace in the loss curve, which learned rules a model keeps. Which rules survive is predictable from one corpus statistic: how often the training stream shows the rule winning. Across un-intervened runs (two corpora, three budgets, three seeds), support frequency decides a rule's fate; the data-to-parameter ratio only modulates how deeply a doomed rule falls. The same emerge-then-collapse dynamics appear in public Pythia checkpoints, collapse depth ordered by model scale as predicted. The forgetting is a displacement: a competing surface pattern out-competes the rule, and the log-probability margin between them crosses zero within 100 training steps of the behavioral collapse. Control over this fate is asymmetric: the same edit that destroys a rule on demand cannot restore it. Flipping support to counter-evidence in place kills the rule with monotone dose-response in two unrelated rules; but injecting support back, even to 450 times the level that naturally sustains it, buys no recovery. Every confirmatory threshold and prediction was pre-registered before the data it governed was read.
参考文献 (20)
Large Language Models in Machine Translation
T. Brants, Ashok Popat, P. Xu 等
Filtered Corpus Training (FiCT) Shows that Language Models Can Generalize from Indirect Evidence
Abhinav Patil, Jaap Jumelet, Yu Ying Chiu 等
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models
Kushal Tirumala, Aram H. Markosyan, Luke Zettlemoyer 等
Locating and Editing Factual Associations in GPT
Kevin Meng, David Bau, A. Andonian 等
Scaling Data-Constrained Language Models
Niklas Muennighoff, Alexander M. Rush, B. Barak 等
Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Alethea Power, Yuri Burda, Harrison Edwards 等
An Empirical Study of Example Forgetting during Deep Neural Network Learning
Mariya Toneva, Alessandro Sordoni, Rémi Tachet des Combes 等
OLMo: Accelerating the Science of Language Models
Dirk Groeneveld, Iz Beltagy, Pete Walsh 等
Omnigrok: Grokking Beyond Algorithmic Data
Ziming Liu, Eric J. Michaud, Max Tegmark
How do language models learn facts? Dynamics, curricula and hallucinations
Nicolas Zucchet, Jörg Bornschein, Stephanie Chan 等
Training Compute-Optimal Large Language Models
Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch 等
Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability
Tyler A. Chang, Z. Tu, B. Bergen
Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs
Angelica Chen, Ravid Schwartz-Ziv, Kyunghyun Cho 等
The Grammar-Learning Trajectories of Neural Language Models
Leshem Choshen, Guy Hacohen, D. Weinshall 等
Decoupled Weight Decay Regularization
I. Loshchilov, F. Hutter
Emergent Abilities of Large Language Models
Jason Wei, Yi Tay, Rishi Bommasani 等
Gemma 2: Improving Open Language Models at a Practical Size
Gemma Team Morgane Riviere, Shreya Pathak, Pier Giuseppe Sessa 等
Nemotron-CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training
Shizhe Diao, Yu Yang, Y. Fu 等
Progress measures for grokking via mechanistic interpretability
Neel Nanda, Lawrence Chan, Tom Lieberum 等
Gender Bias in Neural Natural Language Processing
Kaiji Lu, Piotr (Peter) Mardziel, Fangjing Wu 等