提出Multi-News数据集与层次化抽象模型，提升多新闻文档摘要效果。
Alexander R. Fabbri, Irene Li, Tianwei She 等
提出Latent Retrieval模型，结合逆句任务预训练，显著提升弱监督开放域问答性能。
Kenton Lee, Ming-Wei Chang, Kristina Toutanova
引入操作式形式的数学题数据集MathQA，结合神经网络实现可解释的题解。
Aida Amini, Saadia Gabriel, Peter Lin 等
本研究发现多头注意力中大量头部可剪除而不影响性能，提出贪婪剪枝算法提升效率。
Paul Michel, Omer Levy, Graham Neubig
用LRP与Hard Concrete剪枝；WMT英俄仅保留10/48个编码器头，BLEU仅降0.15。
Elena Voita, David Talbot, Fedor Moiseev 等
提出HellaSwag数据集，利用对抗过滤增强难度，揭示深度预训练模型在常识推理中的局限。
Rowan Zellers, Ari Holtzman, Yonatan Bisk 等
通过异构图推理实现跨文档多跳阅读理解，模型在WIKIHOP数据集上表现优异。
Ming Tu, Guangtao Wang, Jing Huang 等
使用图神经网络编码数据库模式结构，提高Text-to-SQL解析准确率至39.4%。
Ben Bogin, Matt Gardner, Jonathan Berant
SuperGLUE通过引入更难任务和多样化格式，提升自然语言理解基准的挑战性。
Alex Wang, Yada Pruksachatkun, Nikita Nangia 等
提出Nucleus Sampling，结合概率分布尾部截断，有效改善神经文本生成的多样性与连贯性。
Ari Holtzman, Jan Buys, Li Du 等
PullNet结合迭代检索与图卷积网络，实现多跳问答，显著优于先前方法。
Haitian Sun, Tania Bedrax-Weiss, William W. Cohen
提出TextVQA数据集与LoRRA模型，实现图像文本理解与推理，显著优于SOTA。
Amanpreet Singh, Vivek Natarajan, Meet Shah 等
ClinicalBERT利用双向Transformer模型提高30天再入院预测准确率。
Kexin Huang, Jaan Altosaar, Rajesh Ranganath
提出环境Dropout结合背译增强泛化能力，显著提升Room-to-Room任务未见环境成功率。
Hao Tan, Licheng Yu, Mohit Bansal
发布了首个公开的临床BERT模型，提升了临床NLP任务性能。
Emily Alsentzer, John R. Murphy, Willie Boag 等
提出HUSE框架，结合人类和统计评估以衡量生成质量和多样性。
Tatsunori B. Hashimoto, Hugh Zhang, Percy Liang
fairseq是基于PyTorch的高效序列建模工具，支持大规模分布式训练和多任务应用。
Myle Ott, Sergey Edunov, Alexei Baevski 等
SciBERT利用科学文本预训练，提升科学NLP任务表现，超越BERT。
Iz Beltagy, Kyle Lo, Arman Cohan
提出基于能力的课程学习框架，显著缩短神经机器翻译训练时间，提升性能。
Emmanouil Antonios Platanios, Otilia Stretcu, Graham Neubig 等
研究显示，去偏方法如HARD-DEBIASED和GN-GLOVE未能彻底消除词嵌入中的性别偏见。
Hila Gonen, Yoav Goldberg