提出双向双编码器结合加性边距Softmax，UN语料库检索任务P@1达86%以上。
Yinfei Yang, Gustavo Hernandez Abrego, Steve Yuan 等
BERT被视为马尔可夫随机场语言模型，生成的句子多样性高但质量略低。
Alex Wang, Kyunghyun Cho
提出多任务深度神经网络（MT-DNN），结合BERT预训练与多任务学习，提升十项NLU任务性能。
Xiaodong Liu, Pengcheng He, Weizhu Chen 等
提出一种可解释的注意力机制扩展，结合随机梯度优化提升神经翻译中的词对齐精度。
Thomas Zenkel, Joern Wuebker, John DeNero
基于问句蕴含识别（RQE）结合信息检索（IR）实现医疗问答，提升准确率29.8%。
Asma Ben Abacha, Dina Demner-Fushman
本研究评估端到端NLG系统，采用seq2seq模型，表现优异但仍存语义控制不足问题。
Ondřej Dušek, Jekaterina Novikova, Verena Rieser
提出两种跨语言预训练方法（无监督和有监督），在XNLI、机器翻译等任务中刷新SOTA，提升跨语言理解能力。
Guillaume Lample, Alexis Conneau
BERT模型在英语句法现象上的表现出色，尤其是在主谓一致性测试中。
Yoav Goldberg
提出一种单一BiLSTM编码器，支持93种语言的句子嵌入，适用于零样本跨语种迁移。
Mikel Artetxe, Holger Schwenk
提出了一种多模态单样本学习方法，使用Siamese CNN在11类交叉模态匹配中准确率提高一倍。
Ryan Eloff, Herman A. Engelbrecht, Herman Kamper
提出迭代束搜索算法，提升对话生成多样性和质量。
Ilia Kulikov, Alexander H. Miller, Kyunghyun Cho 等
ReCoRD利用自动生成的新闻数据集，强调常识推理，模型表现远低于人类。
Sheng Zhang, Xiaodong Liu, Jingjing Liu 等
提出层次语义解析模型，利用RNNG实现复杂嵌套查询的高效准确解析，优于Seq2Seq。
Sonal Gupta, Rushin Shah, Mrinal Mohit 等
提出基于Span提取的中文机器阅读理解数据集，包含近2万问答，设有多句推理挑战。
Yiming Cui, Ting Liu, Wanxiang Che 等
提出从UD特征到UniMorph的确定映射，验证宏平均召回率64.13%。
Arya D. McCarthy, Miikka Silfverberg, Ryan Cotterell 等
MELD数据集扩展EmotionLines，包含多模态、多方对话情感识别，提供13,000条标注语句。
Soujanya Poria, Devamanyu Hazarika, Navonil Majumder 等
提出OpenBookQA数据集，结合1326个基础科学事实与多源常识，挑战多跳推理，模型表现远低于人类92%。
Todor Mihaylov, Peter Clark, Tushar Khot 等
提出基于可信数据和在线数据选择的去噪神经机器翻译训练方法，在高噪声数据上显著提升NMT性能。
Wei Wang, Taro Watanabe, Macduff Hughes 等
采用LSTM模型分析负极性词项的理解能力，发现模型能识别许可环境与范围，验证其对形式语法的敏感性。
Jaap Jumelet, Dieuwke Hupkes
提出ReCode，基于子树检索的神经代码生成方法，提升BLEU值达2.6。
Shirley Anugrah Hayati, Raphael Olivier, Pravalika Avvaru 等