提出Transformer模型，完全基于注意力机制，显著提升机器翻译性能，训练时间缩短。

Ashish Vaswani, Noam Shazeer, Niki Parmar 等

提出基于排序和关键词短语的多文档抽取式摘要方法，增强连贯性和信息覆盖。

Mir Tafseer Nayeem, Yllias Chali

通过交叉对齐实现非平行文本的风格迁移，情感修改任务中达到了78.4%的准确率。

Tianxiao Shen, Tao Lei, Regina Barzilay 等

提出端到端可微的Key-Value检索网络，显著提升多领域任务导向对话性能。

Mihail Eric, Christopher D. Manning

提出结合 intra-attention 和强化学习的深度抽象摘要模型，CNN/Daily Mail得分41.16。

Romain Paulus, Caiming Xiong, Richard Socher

TriviaQA为大规模远程监督阅读理解数据集，含650K问答三元组，挑战复杂推理。

Mandar Joshi, Eunsol Choi, Daniel S. Weld 等

提出完全卷积的序列到序列模型，采用门控线性单元，在WMT'14英德、英法任务中超越LSTM，速度提升十倍。

Jonas Gehring, Michael Auli, David Grangier 等

基于SNLI数据的监督学习框架InferSent实现句子表示迁移任务的显著提升。

Alexis Conneau, Douwe Kiela, Holger Schwenk 等

使用双向语言模型的半监督序列标注方法，在CoNLL 2003和2000数据集上取得了最先进的结果。

Matthew E. Peters, Waleed Ammar, Chandra Bhagavatula 等

提出SearchQA数据集，结合Google检索文本，评估人机性能差距，推动问答系统发展。

Matthew Dunn, Levent Sagun, Mike Higgins 等

ShapeWorld框架评估多模态语言理解，提供详细控制和生成能力。

Alexander Kuhnle, Ann Copestake

提出指针-生成网络结合覆盖机制，提升摘要准确性和避免重复，ROUGE提升至少2分。

Abigail See, Peter J. Liu, Christopher D. Manning

提出ECM模型，结合情感类别嵌入、内部情感记忆和外部情感词汇实现情感一致的对话生成。

Hao Zhou, Minlie Huang, Tianyang Zhang 等

提出基于Wikipedia的开放域问答系统DrQA，结合大规模检索与深度阅读，显著提升准确率。

Danqi Chen, Adam Fisch, Jason Weston 等

提出FastQA，基于问句词意识和RNN的简洁神经抽取式问答模型，达到了SQuAD 78.9% F1。

Dirk Weissenborn, Georg Wiese, Laura Seiffe

提出结构化自注意力句子嵌入模型，使用2D矩阵表示，提升多任务性能。

Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos 等

提出一种端到端任务完成对话系统，使用强化学习提高鲁棒性。

Xiujun Li, Yun-Nung Chen, Lihong Li 等

Mu等提出简单后处理：去除词向量的均值和前D个主成分，提升词表征性能。

Jiaqi Mu, Suma Bhat, Pramod Viswanath

RUBER结合参考和无参考指标，通过嵌入和神经网络实现无监督自动评估，相关性高达0.49。

Chongyang Tao, Lili Mou, Dongyan Zhao 等

提出门控卷积网络（Gated Convolutional Networks）用于语言建模，超越LSTM，达到WikiText-103新SOTA。

Yann N. Dauphin, Angela Fan, Michael Auli 等