通过扩展至1750亿参数的GPT-3实现零-shot、少-shot学习，显著提升任务泛化能力。
Tom B. Brown, Benjamin Mann, Nick Ryder 等
提出运动剪枝，通过微调中的一阶重要性评分实现高稀疏性，显著优于传统幅值剪枝。
Victor Sanh, Thomas Wolf, Alexander M. Rush
提出INFOTABS数据集，利用半结构化表格推理，模型表现不足，挑战复杂多面 reasoning。
Vivek Gupta, Maitrey Mehta, Pegah Nokhiz 等
本文提出利用结构探针分析mBERT的跨语言句法表示，发现其在多语言中共享句法子空间，揭示潜在的普遍语法关系。
Ethan A. Chi, John Hewitt, Christopher D. Manning
本研究通过控制实验揭示模型编码的语言特征与任务相关性有限，强调预训练词向量在编码中的作用。
Abhilasha Ravichander, Yonatan Belinkov, Eduard Hovy
提出KLEJ多任务基准与HerBERT模型，涵盖9个任务，提升波兰语理解性能。
Piotr Rybak, Robert Mroczkowski, Janusz Tracz 等
引入CLAMS评估多语言句法模型，验证单语与多语模型在不同语言中的句法理解能力。
Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou 等
通过损失截断改进自然语言生成，提升了生成文本的真实性和准确性。
Daniel Kang, Tatsunori Hashimoto
提出ToTTo数据集，结合编辑修订实现高精度条件文本生成，含120K样本。
Ankur P. Parikh, Xuezhi Wang, Sebastian Gehrmann 等
AxCell利用表格语义分割与ULMFiT模型，实现机器学习论文结果的自动提取，显著提升准确率。
Marcin Kardas, Piotr Czapla, Pontus Stenetorp 等
提出LogicalFactChecker，结合图神经网络与逻辑操作实现表格事实验证，达成SOTA。
Wanjun Zhong, Duyu Tang, Zhangyin Feng 等
UD v2通过改进词法和句法标注，构建了涵盖90种语言的多语树库，提升多语依存句法解析能力。
Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter 等
将解码视为多目标优化，核采样优于其他方法，揭示似然陷阱。
Hugh Zhang, Daniel Duckworth, Daphne Ippolito 等
提出逻辑自然语言生成任务，基于TabFact数据集，结合Transformer和预训练模型，提升逻辑保真性。
Wenhu Chen, Jianshu Chen, Yu Su 等
本文分析全球语言资源分布，提出六类语言分类，强调资源不平等对多语言NLP的影响，呼吁社区关注低资源语言。
Pratik Joshi, Sebastin Santy, Amar Budhiraja 等
INLP（迭代空零空间投影）方法通过多轮训练线性分类器，逐步去除神经表示中的偏见信息，有效缓解词向量中的性别偏差。
Shauli Ravfogel, Yanai Elazar, Hila Gonen 等
HybridQA结合多模态信息，采用基于SQLNet和BERT的多跳推理，提升答案准确率。
Wenhu Chen, Hanwen Zha, Zhiyu Chen 等
预训练Transformer如BERT在七个NLP数据集上表现出更好的分布外鲁棒性。
Dan Hendrycks, Xiaoyuan Liu, Eric Wallace 等
提出Longformer，采用线性扩展的注意力机制，处理长文档达数千Token，显著优于BERT及RoBERTa。
Iz Beltagy, Matthew E. Peters, Arman Cohan
BLEURT基于BERT，结合合成数据预训练，显著提升文本生成评估的相关性和鲁棒性。
Thibault Sellam, Dipanjan Das, Ankur P. Parikh