提出VisualMRC数据集及基于视觉布局的扩展Seq2Seq模型，提升文档理解能力。
Ryota Tanaka, Kyosuke Nishida, Sen Yoshida
提出WebSRC数据集，结合HTML结构与视觉特征，提升网页问答理解能力。
Xingyu Chen, Zihan Zhao, Lu Chen 等
提出pQRNN，参数极少的多语言任务专用模型，达95.9%教师性能，参数缩减350倍。
Prabhu Kaliamoorthi, Aditya Siddhant, Edward Li 等
本论文提出通过微调预训练多语模型的词嵌入，结合无监督目标提升多语种词对齐性能，显著优于现有方法。
Zi-Yi Dou, Graham Neubig
EMMA在MESSENGER中通过文本—实体联合注意力实现零样本泛化，测试胜率较基线高40%，但最难阶段仅10%。
Austin W. Hanjie, Victor Zhong, Karthik Narasimhan
本研究提出基于词源分割的BERT模型DelBERT，显著提升复杂词语的语义理解能力。
Valentin Hofmann, Janet B. Pierrehumbert, Hinrich Schütze
本研究提出BanglaBERT，基于ELECTRA的低资源Bangla预训练模型，利用27.5GB数据，在四项NLU任务中刷新SOTA。
Abhik Bhattacharjee, Tahmid Hasan, Wasi Uddin Ahmad 等
提出前缀调优，通过优化连续向量在生成任务中实现参数高效微调，参数仅占0.1%。
Xiang Lisa Li, Percy Liang
EarlyBERT利用早期结构性彩票子网，减少35-45%训练时间，保持性能。
Xiaohan Chen, Yu Cheng, Shuohang Wang 等
本研究系统比较多语模型与单语模型的性能差异，发现专用单语分词器显著提升表现。
Phillip Rust, Jonas Pfeiffer, Ivan Vulić 等
HateCheck提供29个功能测试，揭示仇恨言论检测模型的关键弱点。
Paul Röttger, Bertram Vidgen, Dong Nguyen 等
提出联合重排序和验证模型，在TabFact数据集上表现出色。
Michael Schlichtkrull, Vladimir Karpukhin, Barlas Oğuz 等
提出一种语法增强的预训练模型，结合依存树结构，提升六个数据集上的性能。
Zenan Xu, Daya Guo, Duyu Tang 等
量化Transformer用于无监督抽取式意见总结，显著提高总结质量。
Stefanos Angelidis, Reinald Kim Amplayo, Yoshihiko Suhara 等
提出ZEST数据集，评估模型从任务描述零样本学习能力，T5模型仅得12%分数。
Orion Weller, Nicholas Lourie, Matt Gardner 等
WikiAsp是一个多领域的方面总结数据集，使用维基百科文章进行方面标注。
Hiroaki Hayashi, Prashant Budania, Peng Wang 等
ConTRoL数据集用于长文本上下文推理，挑战现有模型。
Hanmeng Liu, Leyang Cui, Jian Liu 等
利用Transformer模型ClimateQA分析财报中的气候相关信息，准确率达82%。
Alexandra Luccioni, Emily Baylor, Nicolas Duchene
提出2WikiMultiHopQA，结合结构化与非结构化数据，提供多跳推理路径，增强解释性与评估能力。
Xanh Ho, Anh-Khoa Duong Nguyen, Saku Sugawara 等
提出Social-Chemistry框架及Neural Norm Transformer模型，分析社会规范292k条，显著提升推理能力。
Maxwell Forbes, Jena D. Hwang, Vered Shwartz 等