提出KALE方法，通过后训练剪枝和KL对齐提升双编码器检索模型效率，性能优于DistilBERT。

Daniel Campos, Alessandro Magnani, ChengXiang Zhai

HuggingGPT利用ChatGPT作为控制器，结合Hugging Face模型，解决跨模态复杂AI任务。

Yongliang Shen, Kaitao Song, Xu Tan 等

早期GPT-4展现出跨领域通用智能，超越前代模型，具备数学、法律、医学等多任务能力。

Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan 等

通过意见提示和反事实演示提升大语言模型的上下文忠实度，显著减少记忆化比例。

Wenxuan Zhou, Sheng Zhang, Hoifung Poon 等

GPT-4在无专门调优下超越USMLE及多项医学基准，表现出优异的诊断推理能力。

Harsha Nori, Nicholas King, Scott Mayer McKinney 等

TextFlint评测六个GPT模型、21个数据集后发现：RLHF提升人类化表达，却未必提升NLU性能与鲁棒性。

Junjie Ye, Xuanting Chen, Nuo Xu 等

提出MATH 401数据集，系统评估GPT-4、ChatGPT等在算术任务中的表现，发现GPT-4表现优异。

Zheng Yuan, Hongyi Yuan, Chuanqi Tan 等

ART框架利用冻结大模型自动生成多步推理程序，显著提升跨任务性能。

Bhargavi Paranjape, Scott Lundberg, Sameer Singh 等

SelfCheckGPT通过随机采样检测大模型的事实偏差，无需外部数据库。

Potsawee Manakul, Adian Liusie, Mark J. F. Gales

GPT-4为多模态Transformer模型，采用预训练+RLHF，达成人类水平，突破多项基准。

OpenAI, Josh Achiam, Steven Adler 等

提出HMT模型，将潜在的起始翻译时刻作为隐状态，显著提升SiMT性能。

Shaolei Zhang, Yang Feng

Almanac框架结合检索能力提升临床医学语言模型的准确性，事实性提高18%。

Cyril Zakka, Akash Chaurasia, Rohan Shad 等

GEMBA基于GPT模型评估翻译质量，支持有无参考，达成WMT22最优准确率。

Tom Kocmi, Christian Federmann

利用ChatGPT进行文本增强，提出AugGPT方法，显著提升少样本文本分类性能。

Haixing Dai, Zhengliang Liu, Wenxiong Liao 等

本研究系统评估GPT模型在多语言机器翻译中的性能，发现其在高资源语言中表现优异，但低资源语言有限。

Amr Hendy, Mohamed Abdelrehim, Amr Sharaf 等

STREET基准测试评估多任务推理与解释，GPT-3和T5模型仍落后于人类表现。

Danilo Ribeiro, Shen Wang, Xiaofei Ma 等

利用GPT-3（text-davinci-003）在SARA数据集上进行法条推理，结合多种提示策略，取得优于先前的结果，但仍存在明显错误。

Andrew Blair-Stanek, Nils Holzenberger, Benjamin Van Durme

Toolformer利用自监督学习，使大规模语言模型自主学习调用API，显著提升零-shot任务性能，参数仅6.7B。

Timo Schick, Jane Dwivedi-Yu, Roberto Dessì 等

提出DSIR框架，利用哈希n-gram特征进行大规模文本数据筛选，提升下游任务表现。

Sang Michael Xie, Shibani Santurkar, Tengyu Ma 等

提出猜测采样算法（Speculative Sampling），通过生成多重候选令牌实现对70亿参数Chinchilla模型的2-2.5倍加速，保持样本质量。

Charlie Chen, Sebastian Borgeaud, Geoffrey Irving 等