核心发现
方法论
采用mass-mean probing线性探测方法，分析25个预训练模型的句子表示，检测语法性信息的存在。通过比较不同句子类别的平均表示，验证语法性是否在表示空间中形成可分离的维度。实验控制句子属性，确保分离不由词频、句长等因素驱动。模型包括GPT-2、Llama、OLMo、Pythia、Qwen3等，覆盖参数规模从14M到14B。
关键结果
- 所有模型均在语法性分类任务中表现出显著的线性可分性，成功率从13.4%（Pythia-14M）到94.0%（Qwen3-14B），表明语法性在表示空间中具有稳固的编码。模型参数越大，探测成功率越高（相关系数R=0.79），说明模型规模影响语法性编码的强度。
- 线性探测的准确率普遍优于基于句子概率的判别方法，尤其在大模型中差异明显。实验还显示，语法性编码具有跨语法现象的泛化能力，能在不同语法结构和多语言（英语、俄语、汉语）中保持较好的区分效果。
- 对句子属性（如词频、句长、世界知识）进行控制后，语法性表示的分离仍然显著，说明其编码不依赖于这些相关特征，支持模型内部存在抽象的语法性维度。
研究意义
本研究提供了神经语言模型中语法性编码的直接证据，突破了概率测量的局限，强调模型内部表示的结构化特性。这对于理解模型的语法能力、评估其是否具备人类般的句法知识具有重要意义。结果表明，现代预训练模型不仅在生成流畅文本方面表现优异，也在内部编码了抽象的语法维度，为未来模型设计和语法学习研究提供理论基础。此发现有助于推动模型解释性和跨语言通用性的研究，促进自然语言理解的深入发展。
技术贡献
提出mass-mean probing线性方法，低数据需求且易于解释，有效检测语法性在模型表示中的存在。通过系统性实验验证多模型、多语法现象和多语言的泛化能力，展示了语法性作为句子表示中的一条连续维度的存在。与传统概率判别相比，该方法更能揭示模型内部的抽象结构，提供了模型内部语法知识的直接证据。研究还分析了模型规模与语法性编码强度的关系，为模型优化提供理论指导。
新颖性
首次系统性验证多种预训练神经模型中语法性表示的线性可分性，超越概率指标，强调内部表示的结构化特性。引入mass-mean probing方法，简洁高效，能在不同模型和多语言环境中泛化，填补了模型内部语法知识检测的空白。与已有的激活空间分析和参数电路研究互补，提供了更直接的证据支持模型具备抽象语法维度。
局限性
- 当前研究主要集中在句子级别的语法性判别，未深入探讨具体句法结构的编码机制，未来需结合激活分析揭示细节。
- 模型规模与语法性编码强度相关，但未明确因果关系，需进一步研究模型训练过程中的语法表示形成机制。
- 多语言实验虽显示一定的泛化能力，但不同语言的语法差异可能影响编码效果，未来应扩展到更多语言体系。
未来方向
未来将结合激活空间分析，揭示语法性编码的具体神经机制。探索更复杂的语法现象和跨任务的泛化能力，推动模型内部结构的可解释性研究。同时，考虑模型训练策略对语法性表示的影响，优化模型结构以增强语法理解能力。
AI 总览摘要
随着深度学习模型在自然语言处理中的广泛应用，理解其内部的语法知识成为核心问题。传统上，研究者依赖模型对句子概率的偏好差异来判断模型是否具备语法敏感性，但此方法受到概率与语法性本质上纠缠的批评。本文提出一种基于mass-mean probing的线性探测技术，直接分析模型句子表示中的语法性编码。通过在25个预训练模型上进行系统性实验，结果显示所有模型都在句子表示空间中体现出明显的语法性分离，且这种分离不由句子其他属性驱动。模型参数越大，语法性编码越强，跨多种语法现象和语言表现出良好的泛化能力。这一发现不仅提供了模型内部语法知识的直接证据，也为模型解释和跨语言通用性研究提供新思路。未来，结合激活空间分析，将进一步揭示模型内部的语法编码机制，推动模型向更符合人类句法理解的方向发展。
深度分析
研究背景
近年来，神经语言模型（NLM）在文本生成和理解任务中表现卓越，代表模型如GPT系列、Llama、BERT等不断推动自然语言处理的前沿。早期研究通过模型赋予句子概率，尝试判断其语法性，取得一定成功，但受到概率与句法关系复杂性的质疑。符号主义和统计主义的争论促使学界关注模型内部的结构化语法知识，激活空间分析和参数电路研究逐渐兴起，揭示模型在句法结构上的潜在编码。尽管如此，关于模型是否真正掌握抽象语法规则，仍存争议，特别是在跨语言和复杂句法结构中。
核心问题
核心问题在于，神经模型是否在内部表示中编码了抽象的语法性信息，而非仅依赖句子表面统计特征。传统概率方法易受句子属性干扰，难以区分模型对句法结构的真实理解与统计偏好。缺乏直接证据限制了对模型语法能力的准确评估，也影响其在语言理解和生成中的可信度。如何在不受句子其他属性影响的情况下，验证模型内部的语法性编码，成为亟待解决的难题。
核心创新
本研究提出mass-mean probing线性方法，简洁高效，能在模型内部表示空间中检测语法性维度。该方法通过比较不同类别句子表示的平均向量，构建线性判别边界，验证语法性是否作为连续维度存在。实验在多模型、多语法现象和多语言环境中验证其有效性，显示语法性编码具有跨任务和跨语言的泛化能力。与传统基于概率的判别不同，此方法直接揭示模型内部的抽象结构，为理解模型的句法知识提供新工具。
方法详解
- �� 采集25个预训练模型的句子表示，覆盖参数规模从14M到14B。• 采用mass-mean probing方法，计算正负类别句子表示的平均向量，差异向量即判别方向。• 通过线性分类器（θ·x）检测语法性编码，确保控制句子属性干扰。• 在不同句法现象和多语言数据集上进行验证，包括BLiMP、SCaMP等。• 采用交叉验证和多次随机采样，确保结果稳健。• 比较模型规模与探测成功率的关系，分析语法性编码的规模依赖性。
实验设计
- �� 使用多语法评估基准，涵盖句法依存、岛效应、指称一致等。• 评估模型在不同句子类别上的线性可分性，统计成功率和准确率。• 控制句子属性，验证语法性编码的独立性。• 通过不同模型参数规模，分析编码强度与模型大小的关系。• 进行跨语法现象和跨语言的泛化测试，验证语法性维度的连续性。
结果分析
- �� 所有模型均在语法性分类任务中表现出显著的线性可分性，成功率从13.4%到94.0%。• 模型参数越大，探测成功率越高，相关系数达0.79。• 语法性编码在不同语法结构和多语言中保持稳定，显示出良好的泛化能力。• 控制句子属性后，语法性表示仍然显著，说明其独立于其他句子特征。• 线性探测优于概率判别，特别在大模型中优势明显。
应用场景
- �� 促进模型内部语法理解的解释性研究，为模型设计提供理论依据。• 支持跨语言、多任务的语法知识迁移，提升多语种自然语言处理系统的鲁棒性。• 未来可结合激活空间分析，优化模型结构，增强语法推理能力。
局限与展望
- �� 仅在句子级别验证语法性编码，未深入分析句法结构细节。• 模型规模与语法编码强度相关，但因果关系尚未明确。• 多语言实验虽显示一定的泛化，但不同语言的句法差异可能影响效果。
通俗解读 非专业人士也能看懂
想象一个工厂里有很多工人，他们每天都在制造不同的产品。有些产品符合标准，有些不符合。工厂的机器就像神经网络，它们会学习如何区分合格和不合格的产品。科学家们想知道，这些机器是不是在内部“记住”了什么规则，能像人一样判断产品是否符合标准。于是，他们用一种简单的方法，把工厂里所有工人的工作成果（句子表示）进行比较，看是否能找到一种线性的方法，把合格和不合格的产品区分开来。结果发现，越大的工厂（模型越大），机器越擅长用这种线性规则区分产品。这说明，现代的语言模型不仅会生成流畅的句子，还在内部“懂得”一些抽象的语法规则，就像工厂里有一套隐形的标准一样。这为未来让机器更懂语法、理解人类语言提供了新思路。
简单解释 像给14岁少年讲一样
想象你在学校里，有一台超级聪明的机器人老师，它能判断一句话是不是符合语法，就像你判断句子是否说得通一样。以前，我们用一些简单的方法，比如看句子出现的频率，来猜它是不是对的，但这不一定准。现在，科学家们用一种叫“线性探测”的新方法，偷偷看这台机器人老师在脑袋里是不是记住了一些抽象的语法规则。就像你在脑海里有一条隐形的线，把正确和错误的句子分开。实验发现，越大的机器人（模型越大），它越擅长用这条线把句子分类。这意味着，现代的语言模型不仅会写出流畅的句子，还在内部“懂得”一些语法秘密，就像我们人类一样。这让我们更相信，未来的机器人可以更好地理解和使用语言，不再只是模仿，而是真正懂得语法的奥秘！
原文摘要
Whether neural language models (NLMs) possess the ability to distinguish strings on the basis of their grammaticality remains a debated topic in the computational linguistics literature. Existing evidence has largely relied on probability-based measures, testing whether models assign higher probabilities to grammatical than ungrammatical strings. However, probability comparisons have been criticized as a measure for grammatical knowledge based on the assumption that grammaticality is inherently entangled with likelihood. Model-assigned probability is a function of many related sentence properties, such as lexical frequency, plausibility, and world knowledge. In this work, we move beyond probability-based evaluations and investigate whether grammaticality is encoded in the internal representations of NLMs. Using mass-mean probing, we test whether grammatical and ungrammatical sentences are systematically separated in representational space. We further examine the extent to which these representations are independent of sentence properties that are correlated with grammaticality, as well as their generalization across grammatical phenomena and languages. Our results provide evidence that grammaticality is robustly encoded in sentence representations of a wide range of pretrained NLMs, yielding clear representational separation on the dimension of grammaticality that cannot be fully explained by alternative sentence-level factors. Moreover, this encoding generalizes across a broad range of grammatical phenomena and to some degree, across languages, suggesting that grammaticality constitutes a coherent representational dimension in contemporary NLMs. These findings contribute new evidence to debates about the nature of syntactic knowledge in language models and offer a complementary framework for evaluating grammatical competence that is not dependent on string probabilities alone.