核心发现
方法论
研究采用BERT-base cased（12层、768维），以每层[CLS]表示执行68项线性SVR探针任务，预测UD语料中的词汇、形态句法和句法特征。使用Spearman相关系数ρ、5折交叉验证，并以句长相关作为基线；随后在TOEFL11的10个意大利语母语者对比任务上微调BERT，再比较微调前后的探针表现及正确、错误分类句子的均方误差。
关键结果
- 预训练BERT所有特征组均超过句长基线：总体ρ为0.68，词汇为0.78，树结构为0.78，动词谓词结构为0.60；说明表示不仅编码句长，也编码POS、动词屈折和句法关系。
- TOEFL11上，BERT准确率从Zero Rule基线的52.61%—59.29%提升至70.03%—85.74%；KOR-ITA最高85.74%，SPA-ITA最低70.03%，表现与语言类型距离大致一致。
- 微调后高层探针ρ普遍下降，尤其是意大利语与德、法、西语任务；然而正确分类句子的探针MSE通常更低，表明可读语言信息与下游预测成功正相关。
研究意义
论文把“模型存储了什么语言知识”与“这些知识是否帮助具体决策”连接起来。它说明预训练BERT具有广泛、分层的语言表征，但下游微调可能以通用语言信息换取任务特异性。对研究者而言，这为解释迁移学习中的知识遗忘提供了可量化框架；对工业系统而言，它提示高准确率并不等于保留了完整语言结构，也支持用探针指标诊断模型在具体输入上的可靠性。
技术贡献
技术上，研究将van Halteren式语言画像与Conneau等人的探针任务结合，建立了跨68项特征、12层表示和10个NLI模型的统一分析管线。LinearSVR提供低容量可读性测试，Spearmanρ衡量连续特征恢复能力，Ward层次聚类揭示BERT并不严格按传统标注层级组织知识；Wilcoxon秩和检验与MSE比较进一步把表征质量和句子级预测结果联系起来。
新颖性
既有工作主要证明BERT能编码POS、句法或语义，或分析注意力与层级结构；本文进一步比较预训练与NLI微调后的语言知识，并检验知识对正确分类的实际影响。新意不在提出新网络，而在于用多层、多特征语言画像揭示任务适应、知识损失和预测成功之间的关系。
局限性
- 探针可预测性不等于模型真正使用了该知识；LinearSVR可能利用表示中的间接线索，且[CLS]单向量未必覆盖所有词级信息。
- 实验主要基于英语UD语料和TOEFL11英语学习者作文，NLI只采用意大利语与其他语言的二分类，结论对语言、体裁和任务的泛化仍有限。
- 论文报告相关性和统计差异，但未建立因果干预，无法证明某项语言特征必然驱动具体分类。
未来方向
未来可加入词级、跨层组合和因果探针，例如遮蔽或编辑特定句法信息，检验模型是否真正依赖它们；还应扩展到多语言、多任务、自然文本和更严格的控制实验，并研究参数高效微调、持续学习或正则化方法能否减少语言知识遗忘。
AI 总览摘要
神经语言模型擅长预测，却难以说明自己依据了什么。本文围绕BERT提出三个问题：预训练模型在12层中编码了哪些语言属性；NLI微调会怎样改变这些知识；这些知识是否影响句子分类。研究者使用UD English-ParTUT、GUM和EWT构成的23,943句语料，以及TOEFL11作文构成的10个意大利语对比任务，覆盖11种母语。
方法上，作者以每层[CLS]向量输入LinearSVR，完成68项探针任务，预测句长、词汇丰富度、POS、动词屈折、依存树、主宾语序和从属结构，并用Spearmanρ评估。预训练BERT总体ρ为0.68，词汇和树结构均为0.78，明显超过句长基线。NLI准确率达到70.03%—85.74%，显著高于Zero Rule的52.61%—59.29%；KOR-ITA最高，SPA-ITA最低。
核心发现是双面的：BERT确实保存了广泛语言知识，但NLI微调后高层表示通常失去探针精度，尤其在意大利语与德、法、西语等相近语言之间。与此同时，正确分类句子的探针均方误差通常低于错误句，说明更“可读”的语言表征与更可靠的预测相关。研究因此把可解释性从静态能力测量推进到任务决策诊断，但仍需因果实验确认哪些知识真正被模型使用。
深度分析
研究背景
BERT之后，研究者通过神经元、注意力和探针任务发现上下文表示包含表层、形态句法、句法及语义信息。Jawahar等人指出低层偏向表层特征，高层更适合句法语义；Tenney等人观察到类似传统NLP流水线的层级组织。但“编码了知识”是否意味着“决策使用了知识”，以及微调是否造成遗忘，仍缺少系统研究。
核心问题
论文研究三点：预训练BERT各层包含哪些句子级语言属性；NLI微调如何改变这些属性；同一模型对某句的语言知识是否能预测其分类成败。难点在于区分真正语言信息与句长等捷径，并将表示可读性和下游行为连接起来。
核心创新
第一，将68项跨标注层级特征用于统一语言画像。第二，比较同一BERT在预训练状态和10个NLI微调状态下的变化。第三，使用层级聚类、Wilcoxon检验及句子级MSE，把表示知识、任务类型和正确性联系起来。结果显示BERT的知识簇并不简单遵循原始标注层级。
方法详解
- �� 数据：UD English-ParTUT、GUM、EWT共23,943句；TOEFL11作文生成10个ITA对比二分类集，每集约2,400篇、平均33,756句。
- �� 表示：提取BERT-base cased的12层[CLS]激活。
- �� 探针：LinearSVR预测68项特征；5折交叉验证，以Spearmanρ评分，并与句长相关基线比较。
- �� 分析：用Ward方法和欧氏距离聚类层间表现；在NLI微调后重复探针；用Wilcoxon秩和检验比较正确与错误句的绝对误差。
实验设计
预训练实验使用UD金标准句法标注；微调实验对10个语言对各使用50%数据训练、开发和测试。NLI指标为准确率，基线为Zero Rule。第三阶段按正确与错误预测分组，比较68项特征的MSE，并控制句长训练额外LinearSVR，以检验结果是否只是长度效应。
结果分析
预训练BERT平均ρ：RawText 0.68、Vocabulary 0.78、POS 0.68、VerbInflection 0.72、VerbPredicate 0.60、TreeStructure 0.78、Order 0.72、SyntacticDep 0.69、Subord 0.71；对应总体基线0.38。微调后高层信息下降，近类型语言下降更明显；动词时态特征VBZ、VBD几乎在所有模型中下降。
应用场景
可用于微调前后模型审计、语言学习者文本分析、NLI系统错误诊断及教育NLP。实践中可把探针ρ和输入句的预测误差作为辅助信号，识别模型是否依赖稳定语言结构，而非仅依赖表面线索。部署前仍需跨语料验证，并避免把探针分数直接当作解释。
局限与展望
研究集中于英语表示、学习者作文和二分类NLI；固定作文题目可能使动词形态等特征失去区分力。线性探针只能说明信息可恢复，不能证明因果使用；[CLS]表示也压缩了词级细节。未来应扩展多语言、多任务和因果干预，并测试减少灾难性知识遗忘的微调策略。
通俗解读 非专业人士也能看懂
把BERT想成一位读过大量文章的编辑。研究者先给他23,943句英语句子，再检查他能否从一张“句子摘要卡”猜出句子有多长、词汇是否丰富、动词是什么形式、主语和宾语如何排列。这个检查不是让编辑解释理由，而是看这些信息是否藏在卡片里。BERT在68项检查上表现不错，说明他确实记住了许多语言规律。
接着，研究者让编辑专门练习区分意大利语母语者和其他母语者写的英语。练习后，他在这项任务上更会做题，但原来掌握的一些通用语言知识变得模糊，尤其是面对相近语言时。好比编辑为了识别两种相似文风，记住了专门暗号，却少注意文章的一般结构。
有趣的是，编辑答对的句子通常也是他能更清楚描述的句子。也就是说，内部“语言地图”越清楚，分类越容易。不过，这只能说明两者相关，不能确定编辑究竟使用了哪一条规律。
简单解释 像给14岁少年讲一样
想象你有一个超级会读文章的游戏NPC。它先读了海量英语文本，研究者不直接问它“你为什么这么判断”，而是像做小测验一样，给它一段文字的内部记忆，问：这句多长？有哪些词类？动词是过去式吗？主语在动词前还是后？总共有68类问题。
结果很酷：BERT在很多题上都能答对，说明它的记忆里藏着不少语法和句子结构。然后研究者让它专门玩一个“猜作者母语”的游戏，用TOEFL11学习者作文区分意大利语和其他母语。它的准确率达到70.03%到85.74%，比只猜最多类别的基线52.61%到59.29%好很多！
但专门训练也有代价。NPC更会玩这个游戏，却可能忘掉一些普通语法知识，特别是相近语言之间的任务。更重要的是，答对的句子通常也是它能更清楚“读懂”的句子。可是相关不等于因果，所以还不能说某个语法线索一定就是它答对的原因。
术语表
BERT（双向编码器表示）
一种基于Transformer的预训练语言模型，利用上下文生成词和句子的表示。本文使用BERT-base cased的12层模型。
作为被画像、微调和提取[CLS]表示的核心NLM。
Probing task（探针任务）
用简单模型测试神经表示中是否可恢复某项信息。可恢复不必然代表原模型在下游决策中使用了它。
68项任务预测UD语言特征。
LinearSVR（线性支持向量回归）
以线性函数拟合连续目标并控制误差与模型复杂度的回归算法。它适合测试表示中的线性可读信息。
作为所有探针模型。
Spearman’s ρ（斯皮尔曼秩相关）
衡量两个变量排序一致性的相关系数，范围通常为-1到1。本文用它比较预测与金标准特征。
5折交叉验证评价探针。
Fine-tuning（微调）
在特定下游数据上继续训练预训练模型，使其适应目标任务。适应任务可能伴随通用知识遗忘。
用于10个TOEFL11 NLI二分类模型。
NLI（原生语言识别）
根据学习者使用目标语言的文本，判断其第一语言。本文将意大利语与其他10种母语分别配对。
BERT的下游分类任务。
开放问题 这项研究留下的未解疑问
- 1 探针分数高是否意味着模型真的依赖该语言特征仍未解决；需要遮蔽、表示编辑或反事实句子实验建立因果证据。
- 2 实验只覆盖英语学习者作文；多语言自然文本、不同体裁及生成模型中，微调后的知识变化是否相同仍未知。
应用场景
近期应用
模型微调审计
研发团队可在微调前后运行68类或其子集探针，监测POS、词汇和句法信息是否下降，并把ρ变化与NLI准确率、错误案例结合，用于选择更稳健的检查点。
NLI错误诊断
教育平台可对正确与错误句比较探针MSE，发现模型在哪些句法或形态特征上理解不足，再设计针对性数据增强或人工复核流程。
远期愿景
语言知识保持型微调
未来可将探针损失、表示蒸馏或参数正则化加入微调目标，在提升任务准确率的同时保留通用语言结构，形成更可解释、更稳定的多任务模型。
原文摘要
In this paper we investigate the linguistic knowledge learned by a Neural Language Model (NLM) before and after a fine-tuning process and how this knowledge affects its predictions during several classification problems. We use a wide set of probing tasks, each of which corresponds to a distinct sentence-level feature extracted from different levels of linguistic annotation. We show that BERT is able to encode a wide range of linguistic characteristics, but it tends to lose this information when trained on specific downstream tasks. We also find that BERT's capacity to encode different kind of linguistic properties has a positive influence on its predictions: the more it stores readable linguistic information of a sentence, the higher will be its capacity of predicting the expected label assigned to that sentence.