提出ByT5，基于Transformer的字节级预训练模型，参数规模覆盖五个版本，性能与Token模型相当，增强鲁棒性。
Linting Xue, Aditya Barua, Noah Constant 等
KLUE构建8项韩语NLU任务，采用从零采集数据，提出KLUE-BERT和KLUE-RoBERTa模型，显著优于多语和开源模型。
Sungjoon Park, Jihyung Moon, Sungdong Kim 等
TAT-QA数据集结合表格和文本，TAGOP模型提升F1值至58.0%。
Fengbin Zhu, Wenqiang Lei, Youcheng Huang 等
Kleister数据集挑战现有KIE模型，最佳模型在NDA和Charity数据集上分别取得81.77%和83.57%的F1分数。
Tomasz Stanisławek, Filip Graliński, Anna Wróblewska 等
综述深度学习对话系统，涵盖模型类型、系统类型及评估方法，揭示最新趋势。
Jinjie Ni, Tom Young, Vlad Pandelea 等
提出Inter-GPS，结合形式语言与符号推理，构建Geometry3K，显著提升几何问题求解性能。
Pan Lu, Ran Gong, Shibiao Jiang 等
提出D2S系统结合查询引导文本摘要，利用SciDuet数据集实现文档到幻灯片自动生成。
Edward Sun, Yufang Hou, Dakuo Wang 等
DExperts方法结合专家和反专家模型，在解码时控制文本生成，显著减少GPT-3的毒性。
Alisa Liu, Maarten Sap, Ximing Lu 等
本文通过扩展XLM-R模型至3.5B和10.7B参数，显著提升跨语理解性能，超越前沿模型。
Naman Goyal, Jingfei Du, Myle Ott 等
提出FRANK基准，基于语义与语篇错误分类，评估抽象摘要的事实一致性。
Artidoro Pagnoni, Vidhisha Balachandran, Yulia Tsvetkov
提出两种TSE变体EW和MW，分别衡量模型的系统性和行为倾向，揭示模型在语法一致性上的不足。
Benjamin Newman, Kai-Siang Ang, Julia Gong 等
使用对比损失和马氏距离检测预训练Transformer的分布外数据，性能接近完美。
Wenxuan Zhou, Fangyu Liu, Muhao Chen
使用约束语言模型实现少样本语义解析，显著超越基线。
Richard Shin, Christopher H. Lin, Sam Thomson 等
提出知识神经元概念，通过知识归因识别存储事实的神经元，验证其对知识表达的正相关性，能在无需微调的情况下编辑特定知识。
Damai Dai, Li Dong, Yaru Hao 等
引入领域条件点互信息，解决表面形式竞争问题，提高零样本任务准确率。
Ari Holtzman, Peter West, Vered Shwartz 等
提出Condenser架构，通过预训练条件化密集表示，显著提升文本检索性能。
Luyu Gao, Jamie Callan
采用检索增强架构显著降低对话中的知识虚构，最佳模型在两个知识驱动任务中超越SOTA，减少虚假回答60%以上。
Kurt Shuster, Spencer Poff, Moya Chen 等
利用源端和目标端的上下文建模（包括共指解析和多跳推理）显著提升对已验证事实声明的检测，超越SOTA十余分。
Shaden Shaar, Firoj Alam, Giovanni Da San Martino 等
SummScreen数据集用于抽象剧本摘要，挑战性强，包含对话和情节细节。
Mingda Chen, Zewei Chu, Sam Wiseman 等
AR-LSAT结合Transformer与符号推理，挑战文本分析推理，性能远逊人类。
Wanjun Zhong, Siyuan Wang, Duyu Tang 等