ERNIE-Layout通过布局知识增强预训练，在文档理解任务上取得了显著提升。
Qiming Peng, Yinxu Pan, Wenjin Wang 等
本研究比较Transformer在存储在权重与上下文中的信息的泛化差异，发现预训练模型更偏向规则性泛化。
Stephanie C. Y. Chan, Ishita Dasgupta, Junkyung Kim 等
提出端到端训练的联合模型，结合可微分DPR与生成，显著提升OK-VQA性能。
Weizhe Lin, Bill Byrne
Auto-CoT自动生成推理链，利用多样性提升LLMs推理性能，超越手工设计。
Zhuosheng Zhang, Aston Zhang, Mu Li 等
研究通过自问方法缩小语言模型的组合性差距，在GPT-3上提高了准确率。
Ofir Press, Muru Zhang, Sewon Min 等
Pix2Struct通过解析网页截图为简化HTML进行预训练，实现视觉语言理解，提升了六项任务的性能。
Kenton Lee, Mandar Joshi, Iulia Turc 等
本研究分析多语种机器翻译中的添加毒性，采用HOLISTICBIAS数据集和ALTI+解释方法，发现低资源语言和特定人口轴易出现毒性。
Marta R. Costa-jussà, Eric Smith, Christophe Ropers 等
Binder框架结合GPT-3 Codex，实现无需训练的神经符号推理，显著提升复杂问答性能。
Zhoujun Cheng, Tianbao Xie, Peng Shi 等
提出Decomposed Prompting，通过模块化分解复杂任务，超越GPT-3少样本性能。
Tushar Khot, Harsh Trivedi, Matthew Finlayson 等
提出RL4LMs库、GRUE基准和NLPO算法，提升语言模型的偏好对齐效果。
Rajkumar Ramamurthy, Prithviraj Ammanabrolu, Kianté Brantley 等
提出PrOntoQA数据集，系统分析LLMs的推理能力，发现其善于单步推导但难以进行证明规划。
Abulhair Saparov, He He
提出DecAF框架，联合解码逻辑形式与直接答案，基于文本检索实现，达成WebQSP、FreebaseQA等SOTA。
Donghan Yu, Sheng Zhang, Patrick Ng 等
提出“上下文蒸馏”方法，通过合成无标签数据实现模型内部化任务指令、推理步骤和示例，显著提升模型性能。
Charlie Snell, Dan Klein, Ruiqi Zhong
LiMBeR方法通过线性映射将图像特征转化为文本提示，提升视觉问答性能。
Jack Merullo, Louis Castricato, Carsten Eickhoff 等
提出ScienceQA数据集，结合链式推理提升多模态科学问答性能，GPT-3提升1.20%。
Pan Lu, Swaroop Mishra, Tony Xia 等
提出Embedding空间参数解释框架，支持GPT-2参数零样本对齐与迁移，验证模型在嵌入空间的可解释性。
Guy Dar, Mor Geva, Ankit Gupta 等
提出解决LLM捷径学习问题的方法，显著提升OOD泛化性能和对抗鲁棒性。
Mengnan Du, Fengxiang He, Na Zou 等
CodeT利用预训练模型自动生成测试用例，通过双重执行一致性显著提升代码解决方案选择性能。
Bei Chen, Fengji Zhang, Anh Nguyen 等
提出自信自适应语言建模（CALM），在减少计算量的同时保持高性能，速度提高达3倍。
Tal Schuster, Adam Fisch, Jai Gupta 等
语言模型能自评答案准确性，P(True)和P(IK)方法验证有效。
Saurav Kadavath, Tom Conerly, Amanda Askell 等