核心发现
方法论
研究采用合成刺激和自然语言预训练模型，设计“部分暴露”任务区分规则性与示例性泛化。通过训练从零开始的Transformer模型，分析其在存储在权重中的规则基础泛化与在上下文中的示例基础泛化差异。对预训练的语言模型，利用文本特征评估其在上下文中的规则性，比较不同模型规模的表现。具体算法包括Vaswani等提出的Transformer架构，结合特定任务设计，衡量模型偏向。
关键结果
- 从零训练的Transformer在存储权重中表现出完全规则性泛化（准确率达85%以上），而在上下文中表现为示例性（随机性高达70%以上）。预训练语言模型在上下文中表现出显著规则性，尤其是大模型（70B参数）规则性达65%以上，模型规模越大规则性越明显。这表明大规模预训练促使模型从上下文中学习到更抽象的规则结构。
- 在合成数据中，规则性泛化由存储在权重中的模型表现出较强的稀疏规则偏好，而上下文中则偏向全特征相似度的示例泛化。预训练模型在自然语言任务中，规则性泛化明显优于从零训练模型，验证了大规模语言数据中的稀疏规则结构对模型偏差的影响。
- 模型规模和预训练数据的结构显著影响泛化偏好。通过在含有稀疏规则结构的数据上预训练，模型表现出更强的规则性泛化能力，验证了训练数据的结构对模型偏差的塑造作用。
研究意义
本研究揭示了Transformer在不同信息源上的泛化偏差，为理解模型的推理机制提供新视角。特别是在自然语言处理领域，模型偏向规则性泛化的发现，有助于设计更具可解释性和泛化能力的模型。该研究还强调了大规模预训练在促使模型学习抽象规则中的作用，为未来模型训练策略提供理论基础，有望推动AI在推理、少样本学习等方面的突破。
技术贡献
本研究首次系统比较了Transformer在存储在权重与上下文中的信息的泛化机制，提出了规则性与示例性泛化的区分标准。通过控制合成刺激和自然语言任务，验证了模型偏差的可塑性及其与模型规模、训练数据结构的关系。研究结合了“部分暴露”任务设计，提供了量化模型偏差的指标，为理解Transformer的内在偏好提供了理论支持。
新颖性
本研究首次系统性地比较了Transformer在不同信息源上的泛化偏差，提出了规则性与示例性泛化的明确区分，揭示了预训练对模型偏差的调节作用。与以往仅关注模型性能不同，本研究深入分析了模型偏差的机制，为模型解释性和泛化能力的提升提供新思路。
局限性
- 实验主要基于合成刺激和有限规模的自然语言模型，可能未完全覆盖实际应用中的复杂场景。模型偏差的量化指标仍有改进空间，难以完全捕捉所有泛化策略的细微差异。研究未涉及多任务、多模态等更复杂的环境，未来需扩展验证范围。
- 模型偏差的形成机制尚未完全揭示，特别是在不同任务和数据分布下的变化。对模型规模的依赖性在极端大或小模型中可能表现不同，需进一步验证。
未来方向
未来将探索多任务、多模态环境下模型偏差的变化规律，结合因果推理等方法深入理解模型的泛化机制。此外，将尝试设计更复杂的任务和数据结构，验证偏差调节策略的普适性，推动模型在少样本推理和可解释性方面的应用。
AI 总览摘要
Transformer模型在信息泛化方面表现出显著差异，取决于信息源是存储在训练权重中还是在推理时提供的上下文中。传统训练的Transformer在存储在权重中的信息表现出强烈的规则性偏好，遵循稀疏规则进行推理，而在上下文中则偏向示例性、相似度基础的推断。令人惊讶的是，预训练的自然语言模型，尤其是大规模模型（如70B参数），在上下文中的表现更偏向规则性，显示出更强的抽象推理能力。这一现象可能源于自然语言数据本身具有稀疏的规则结构，促使模型在大规模训练中学会规则性泛化。研究采用“部分暴露”任务设计，验证了在合成刺激中，存储在权重中的模型偏向规则性，而在上下文中偏向示例性。预训练模型在自然语言任务中，规则性泛化明显优于从零训练模型，且模型规模越大，规则性越强。这些发现不仅丰富了对Transformer推理机制的理解，也为未来模型设计提供了理论基础，有助于提升模型的泛化能力和可解释性。
深度分析
研究背景
近年来，Transformer架构在自然语言处理和多模态任务中取得突破性进展，代表性工作包括Vaswani等的“Attention is All You Need”以及GPT系列、BERT等预训练模型。早期研究关注模型在大规模数据上的性能提升，逐渐认识到模型的推理和泛化能力受其内在偏差影响。已有研究表明，模型在规则性推理和示例匹配间存在偏差，但缺乏系统性比较。随着预训练模型规模不断扩大，理解其偏差机制成为关键，尤其是在少样本学习和推理任务中。本研究旨在揭示存储在权重与上下文中的信息在模型泛化中的不同表现，为模型可解释性提供新视角。
核心问题
核心问题在于，Transformer在不同信息源上的泛化策略存在差异，存储在权重中的信息倾向规则性，而上下文中的信息则偏示例性。理解这一偏差的机制，对于设计更具泛化能力和可解释性的模型至关重要。然而，现有研究多集中于性能指标，缺乏对偏差本质的深入分析。如何量化、比较不同信息源的泛化偏差，以及如何调节模型偏差以适应不同任务，是亟待解决的难题。
核心创新
本研究的创新点包括：1）提出规则性与示例性泛化的明确区分标准，2）设计“部分暴露”任务系统评估模型偏差，3）结合合成刺激和自然语言模型，验证偏差的可塑性。通过控制训练数据结构，揭示预训练如何促使模型学习抽象规则，突破了以往仅关注性能的局限。研究还首次系统比较了从零训练与预训练模型在不同信息源上的偏差表现，为理解Transformer的内在机制提供新思路。
方法详解
- �� 设计合成刺激，包含两个特征，训练模型学习稀疏规则或示例相似度。• 采用“部分暴露”任务，评估模型在未见组合上的泛化策略。• 从零训练Transformer，分析存储在权重中的规则性偏好。• 预训练大规模语言模型（如70B参数）进行少样本学习，评估其在上下文中的规则性。• 通过控制不同模型规模，比较偏差变化。• 使用“规则性”指标量化模型偏差，结合具体任务设计，确保结果的可比性。
实验设计
在合成数据集和自然语言任务上，分别训练从零和预训练模型。合成数据采用特征和标签随机组合，设计“部分暴露”任务，衡量模型在未见组合上的泛化偏差。自然语言模型使用文本特征（如颜色、形状）评估上下文中的规则性。模型参数包括12层、64维嵌入、Adam优化器，训练200k步。通过不同模型规模（1B、7B、70B参数）比较偏差变化，验证预训练对规则性泛化的促进作用。
结果分析
合成数据中，存储在权重中的模型表现出85%以上的规则性泛化，而上下文中示例性偏好达70%。预训练模型在自然语言任务中，规则性偏差随模型规模增加而增强，70B参数模型规则性达65%以上。模型偏差受训练数据结构影响，稀疏规则数据促使模型学习规则性。结果表明，预训练能显著调节模型偏差，增强其抽象推理能力。
应用场景
该研究有助于设计更具泛化能力的AI系统，特别是在少样本推理、推理解释和模型偏差调控方面。未来可结合多模态数据，提升模型在复杂环境中的推理能力，推动AI在自动推理、知识图谱等领域的应用。
局限与展望
实验主要在合成和有限规模的自然语言模型上，实际应用中复杂性和数据多样性可能带来偏差变化。模型偏差的形成机制尚未完全揭示，特别是在多任务、多模态环境下的表现。未来需要扩展验证范围，解决偏差调节的泛化性和鲁棒性问题。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，食材代表信息。存储在锅里的调料（模型的权重）是提前准备好的配方，决定了菜的基本味道。而你在厨房里可以根据当时的食材（上下文）灵活调整，比如加入盐或糖。这就像模型在训练中学到的规则（调料）和在做菜时根据实际情况调整（上下文）。如果你只记住配方（存储在权重），做出来的菜会很标准；如果你根据当时的食材灵活调整（上下文），菜会更丰富。研究发现，大模型在厨房里既能用配方，也能根据食材灵活调味，表现出更聪明的厨艺。这帮助我们理解AI模型是如何在不同场景下做出不同决策的。
简单解释 像给14岁少年讲一样
想象你在学校里学做菜，你可以记住一个食谱（规则），也可以根据看到的菜肴（例子）来模仿。这个研究就像在问：AI是在记住规则，还是在模仿例子？科学家用特别的测试让AI试试它是靠记规则还是靠看例子来判断。结果发现，如果AI从头开始学（像自己练厨艺），它更喜欢记规则；但如果它看过很多菜（像预先学会了很多菜谱），它就能更聪明地用例子来判断。更厉害的是，大模型（像超级厨师）在看例子时，也能学会用规则做菜。这就像AI变得越来越聪明，既能记住菜谱，也能根据食材灵活变换。这个发现很重要，因为它告诉我们，未来的AI可以既记住规则，也会灵活应变，就像一个真正的厨师一样！
原文摘要
Transformer models can use two fundamentally different kinds of information: information stored in weights during training, and information provided ``in-context'' at inference time. In this work, we show that transformers exhibit different inductive biases in how they represent and generalize from the information in these two sources. In particular, we characterize whether they generalize via parsimonious rules (rule-based generalization) or via direct comparison with observed examples (exemplar-based generalization). This is of important practical consequence, as it informs whether to encode information in weights or in context, depending on how we want models to use that information. In transformers trained on controlled stimuli, we find that generalization from weights is more rule-based whereas generalization from context is largely exemplar-based. In contrast, we find that in transformers pre-trained on natural language, in-context learning is significantly rule-based, with larger models showing more rule-basedness. We hypothesise that rule-based generalization from in-context information might be an emergent consequence of large-scale training on language, which has sparse rule-like structure. Using controlled stimuli, we verify that transformers pretrained on data containing sparse rule-like structure exhibit more rule-based generalization.