核心发现
方法论
采用七个不同规模（0.3-8B参数）预训练语言模型，通过五种线性与非线性探针（线性回归、序数回归、多层感知机等）在九个语料库、七种语言的学习者文本中预测CEFR水平。训练在同分布数据上，验证在留一法跨语料迁移，比较表面特征基线与模型激活。分析残差显示，跨语料探针趋向随机预测，表明模型未编码通用能力，而是语料特有的分布特征。
关键结果
- 在同分布验证中，探针在中间层达成QWK≈0.7，明显优于表面特征基线（QWK≈0.45）。但在跨语料迁移测试中，性能大幅下降，平均QWK降至0.38，表现出迁移能力不足。
- 不同模型规模和探针架构对性能影响有限，模型越大，表现略优，但跨语料迁移一致性差，说明模型未学习到抽象的通用能力。
- 残差分析显示，迁移测试中，预测趋向均匀分布，证实模型偏向语料特有的分布特征而非通用能力。
研究意义
结果表明，当前多语嵌入模型未能有效编码跨语料的通用语言能力，挑战了利用预训练模型进行能力迁移的假设。此发现对多语能力评估、能力调控的技术路径提出质疑，强调数据分布偏差对模型迁移性能的影响，为未来多语能力表示研究指明方向。
技术贡献
本研究首次系统性比较多模型、多探针架构在多语料上的迁移表现，结合残差分析揭示模型未学习到抽象能力维度，而是语料特有的分布特征。提出跨语迁移性能下降的根源在于数据偏差，强调需考虑语料分布特性，推动能力表示的研究向更稳健的方向发展。
新颖性
首次在多语、多语料环境中系统评估预训练模型能力表示的迁移能力，结合多架构、多模型规模，揭示模型未编码通用能力的根本原因，突破了以往仅在单语或单语料场景的研究局限。
局限性
- 研究主要依赖CEFR标签，未考虑其他能力维度或多模态信息，可能限制模型能力的全面理解。
- 跨语料迁移性能受数据偏差影响显著，未来需设计更平衡、多样化的训练语料以提升泛化能力。
- 模型规模虽影响性能，但未充分探索更复杂架构或训练策略对迁移能力的提升潜力。
未来方向
未来应关注多语、多模能力数据的构建，探索更鲁棒的表示学习方法，结合多任务、多模态信息，提升模型的跨语料迁移能力。同时，研究应深入理解能力的本质，推动能力表示的理论基础建设。
AI 总览摘要
当前多语嵌入模型在预测学习者CEFR水平方面表现出色，但其跨语料迁移能力严重不足。本文通过在七个不同规模模型上，采用五种探针架构，在九个语料库中进行训练与验证，发现模型在同分布数据上能达到QWK≈0.7的性能，优于表面特征基线。然而，跨语料迁移测试中，性能骤降至QWK≈0.38，表现出迁移能力的缺失。残差分析显示，迁移测试中模型趋向随机预测，表明模型未学习到通用的能力表示，而是依赖语料特有的分布特征。这一发现挑战了预训练模型能编码抽象能力的假设，强调数据偏差对迁移性能的影响。结果提示未来应关注多语、多语料的平衡数据构建，以及更复杂的能力表示学习策略，以实现真正的跨语能力迁移。研究揭示了当前多语嵌入模型在能力通用性方面的局限，为未来多语能力评估与调控技术提供了重要参考。
深度分析
研究背景
随着大规模预训练语言模型的兴起，其在多语能力评估中的潜力逐渐被关注。早期研究如BERT、XLM-R等在语义和句法任务中表现优异，但对能力表示的迁移能力研究较少。近年来，探针技术被用来分析模型内部表征，试图解码能力信息，但多集中在单语或单语料场景。多语能力评估面临多样性与偏差问题，如何让模型学习到跨语料、跨任务的通用能力，成为核心难题。现有方法多依赖表面特征或单一任务，缺乏系统性验证其能力的迁移性。本文通过多模型、多架构、多语料的实验设计，试图揭示预训练模型能力表示的本质，推动多语能力评估的理论基础。
核心问题
核心问题在于，预训练多语嵌入模型是否编码了跨语料的通用能力表示。现有研究多在同分布数据上取得较好效果，但迁移能力不足，限制了其在实际多语环境中的应用。模型可能只学习到语料特有的分布特征（如话题、任务类型），而非能力本身。这导致模型在面对未见语料时表现急剧下降，影响其在多语能力评估、个性化学习等场景中的实用性。解决这一问题需要深入分析模型内部表征的迁移能力，理解其局限性。
核心创新
本研究的创新在于：1）系统性比较多模型、多架构在多语料上的迁移表现，揭示模型未学习到抽象能力的根本原因；2）结合残差分析，明确模型偏向语料特有的分布特征；3）提出跨语迁移性能下降主要源于数据偏差，强调平衡多语料的重要性。这些创新突破了以往只在单语、单语料场景的局限，为能力表示的理论研究提供新视角。
方法详解
- �� 采集七个不同规模（0.3B-8B参数）预训练模型（如Qwen3、Gemma、Llama）• 提取每个模型五个隐藏层的激活状态，作为能力表征基础• 设计五种探针（线性回归、序数回归、多层感知机等）在九个多语料库中训练预测CEFR等级• 采用在同分布数据上训练和验证，留一法跨语料迁移测试• 比较表面特征基线（如文本长度）与模型激活的预测性能• 进行残差分析，检测迁移性能下降的根源• 评估不同模型规模、架构对迁移能力的影响。
实验设计
- �� 使用UniversalCEFR数据集，涵盖7种语言、9个语料库、不同CEFR级别• 训练在每个语料上，验证在相同分布和留一法迁移场景• 采用QWK作为主要指标，比较不同模型和探针架构性能• 设计多层探针，分析中间层代表能力的效果• 通过残差分析，揭示迁移性能下降的原因• 评估模型规模、架构变化对迁移能力的影响。
结果分析
- �� 在同分布验证中，探针在中间层达成QWK≈0.7，优于表面特征（QWK≈0.45）• 跨语料迁移时，性能大幅下降，平均QWK降至0.38，表现出迁移能力不足• 模型越大，迁移性能略有提升，但差异不显著• 残差分析显示迁移预测趋向随机，未学习到抽象能力。
应用场景
- �� 可用于多语能力评估，辅助教育、语言学习平台实现个性化教学• 需确保训练语料多样化，减少偏差，提升模型迁移能力• 未来可结合多模态信息，增强能力表示的稳健性。
局限与展望
- �� 仅依赖CEFR标签，未考虑其他能力维度或多模态信息• 语料偏差严重，影响迁移性能• 模型规模和架构有限，未来需探索更复杂模型和训练策略。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工人们每天都在做不同的任务。有的工人擅长装配，有的擅长焊接，但每个人都用不同的工具和流程。工厂想让每个工人都能学会所有任务，但实际上，每个任务的工具和流程都不一样，工厂的系统（模型）试图通过观察工人的表现（激活）来判断他们的技能水平（能力）。然而，研究发现，工厂的系统在熟悉的任务（语料）中表现很好，能准确判断工人的技能，但当遇到新任务（不同语料）时，判断就变得很差。原因是系统只记住了每个任务的特殊工具和流程，而没有学到真正的技能（抽象能力）。这就像你只记住了某个工厂的操作流程，却不知道怎么在别的工厂用相同的技能。
原文摘要
Do multilingual embedding models encode a language-general representation of proficiency? We investigate this by training linear and non-linear probes on hidden-state activations from seven embedding models (0.3-8B) to predict CEFR proficiency levels from learner texts across nine corpora and seven languages. We compare five probing architectures against a baseline trained on surface-level text features. Under in-distribution evaluation, probes achieve strong performance (Quadratic Weighted Kappa $\approx0.7$), substantially outperforming the surface baseline, with middle layers consistently yielding the best predictions. However, in cross-corpus evaluation performance collapses across all probe types and model sizes. Residual analysis reveals that out-of-distribution probes converge towards predicting uniformly distributed labels, indicating that the learned mappings capture corpus-specific distributional properties (topic, language, task type, rating methodology) rather than an abstract, transferable proficiency dimension. These results suggest that current multilingual embeddings do not straightforwardly encode language-general proficiency, with implications for representation-based approaches to proficiency-adaptive language technology.