Multitask Prompted Training Enables Zero-Shot Task Generalization
通过多任务提示训练（T0），模型在零样本任务中表现优异，超越16倍模型规模的对比模型。
核心发现
方法论
本文提出一种基于多任务提示（prompt）的方法，将多样化的自然语言任务转化为人类可读的提示形式。利用结构化模板，将多个公开数据集中的任务统一格式化，形成多样化的训练集。通过在预训练的T5编码-解码模型上进行微调，模型学习到在未见任务上进行零样本推断的能力。该方法强调提示多样性和任务多样性，增强模型的泛化能力。实验中，模型在多个公开数据集和BIG-bench子集上表现出色，显著优于仅用语言模型目标训练的基线，甚至超越规模达16倍的GPT-3模型。
关键结果
- 模型在9个未见任务数据集上表现优异，超过对比模型，平均提升达15%以上，尤其在自然语言推理（NLI）任务中表现优于GPT-3 175B模型，达到了85%的准确率。
- 在BIG-bench的14个新颖任务中，T0系列模型表现优越，T0++在多数任务中超越了训练规模相当的对比模型，表现提升幅度达6倍模型规模的优势。
- 多样化提示训练显著提高模型对提示措辞变化的鲁棒性，提示数量增加时，模型在未见任务上的性能波动减小，表现更稳定。
研究意义
该研究突破了大规模预训练模型依赖规模的局限，展示了通过多任务提示训练实现高效零样本泛化的潜力。这不仅推动了自然语言理解的理论发展，也为实际应用提供了低成本、易扩展的解决方案。模型在无需大量标注数据的情况下，便能适应多样化任务，极大降低了部署门槛，促进智能系统的普及。其方法论强调提示设计的多样性与鲁棒性，为未来多任务学习和提示工程提供了新思路。
技术贡献
本文的核心技术贡献在于提出一种系统化的多任务提示格式，将多样化任务统一转化为人类可理解的提示模板。利用结构化模板和多样化提示集，增强模型对提示措辞变化的鲁棒性。基于T5编码-解码架构，结合多任务微调策略，有效提升模型在未见任务上的零样本表现。实验中，模型在多个公开数据集和大规模基准上超越以参数规模为衡量的SOTA模型，验证了提示多样性和任务多样性在零样本泛化中的关键作用。这一框架为未来多任务学习提供了可扩展的范式。
新颖性
本研究首次系统性地将多任务提示训练应用于大规模预训练模型，通过丰富的提示模板实现任务多样性，显著提升模型的零样本泛化能力。与以往仅依赖模型规模的策略不同，提出的提示多样性策略有效缓解了模型对提示措辞敏感的问题，推动了提示工程和多任务学习的结合创新。其在多个任务和基准上的优异表现，证明了提示多样性在模型泛化中的决定性作用，是对现有方法的重大突破。
局限性
- 模型对提示设计仍较敏感，提示质量和多样性对性能影响显著，提示工程仍需大量人工调试。
- 训练过程依赖大量多样化提示，增加了数据准备和工程复杂度，限制了模型的快速部署。
- 尽管在多任务上表现优异，但在极端少样本或特定专业领域任务中仍存在性能瓶颈，未来需结合少样本学习策略。
未来方向
未来将探索自动化提示生成与优化技术，减少人工设计负担。同时，结合少样本学习和领域适应策略，提升模型在专业或低资源场景下的表现。此外，研究提示的语义理解机制，增强模型对提示意图的理解能力，以实现更高效的任务迁移和泛化。
AI 总览摘要
近年来，预训练大模型在自然语言处理（NLP）中展现出强大的泛化能力，尤其是在零样本任务中表现出令人瞩目的性能。传统上，这些模型依赖于规模的不断扩大，然而，规模的增长带来了计算成本和部署难题。本文提出一种基于多任务提示（prompted）训练的方法，旨在通过丰富多样的提示设计，提升模型在未见任务上的零样本泛化能力。
核心思想是将多样化的任务转化为人类可理解的提示模板，利用结构化的模板集合，结合多任务训练，促使模型学习到通用的任务理解能力。采用预训练的T5编码-解码模型作为基础架构，通过在大规模多任务提示数据集上微调，模型在多个公开数据集和BIG-bench子集上表现出色，超越了参数规模远大于它的模型，包括GPT-3 175B。
实验结果显示，模型在9个未见任务上平均提升15%以上，尤其在自然语言推理（NLI）任务中，准确率达到85%，优于GPT-3。此外，模型对提示措辞变化具有较强鲁棒性，提示多样性增强了模型的适应能力。这一方法不仅验证了提示多样性在零样本泛化中的关键作用，也为未来多任务学习提供了新范式。
该研究的意义在于突破了模型规模依赖的限制，提出低成本、高效的多任务泛化方案，推动了AI在实际应用中的普及。未来，研究将集中在自动提示生成、少样本学习和领域适应，进一步提升模型的实用性和智能水平。
深度分析
研究背景
近年来，预训练语言模型如BERT、GPT系列和T5在NLP领域引领变革。这些模型通过大规模无监督预训练，掌握了丰富的语言知识，显著提升了多项任务的性能。尤其是GPT-3等超大模型，展现出惊人的零样本和少样本能力，推动了模型规模与性能的同步增长。然而，这种规模依赖带来了高昂的计算成本和部署难题。近年来，研究者开始关注提示工程和多任务学习，试图通过设计合适的提示（prompt）引导模型完成新任务。前期工作如GPT-3的few-shot学习、T5的多任务训练，已验证提示在模型泛化中的潜力，但仍存在提示敏感和任务多样性不足的问题。本文在此基础上，提出多任务提示训练策略，旨在系统性地增强模型的零样本泛化能力，解决提示设计的鲁棒性和任务适应性难题。
核心问题
当前大规模预训练模型在零样本任务中表现虽佳，但其性能高度依赖模型规模，且对提示措辞敏感，限制了其广泛应用。如何在不依赖极大参数的情况下，提升模型对新任务的泛化能力，成为亟待解决的问题。传统多任务学习虽能改善泛化，但缺乏系统化的提示设计，难以应对任务多样性和提示变化带来的挑战。此外，现有方法多依赖静态提示或少样本调优，缺乏对提示多样性和鲁棒性的系统研究。因此，本文试图通过丰富多样的提示模板和多任务训练，提升模型在未见任务上的表现，并增强对提示变化的适应能力。
核心创新
第一，提出多任务提示（prompt）训练框架，将多样化任务转化为人类可理解的提示模板，增强模型的任务理解能力；第二，设计丰富的提示模板集合，涵盖多种任务类型和措辞变体，提升模型对提示措辞变化的鲁棒性；第三，利用预训练的T5模型，通过在多任务提示数据上微调，显著提升模型的零样本泛化能力，超越参数规模远大于它的模型。此方法结合了提示工程和多任务学习的优势，突破了以往只依赖模型规模的局限，为低成本、多任务泛化提供新路径。
方法详解
- �� 数据准备：收集62个公开任务数据集，设计多样化提示模板，确保任务多样性和提示多样性。• 模型架构：采用预训练的T5编码-解码模型，利用其生成能力。• 多任务微调：将所有任务数据按比例混合，利用多样化提示模板进行训练，目标是最大似然估计。• 提示多样性：每个任务使用多个不同的提示模板，训练模型对措辞变化的鲁棒性。• 训练细节：采用Adafactor优化器，最大序列长度1024，批次大小1024，学习率1e-3。• 评估：在未见任务和BIG-bench子集上进行零样本测试，使用准确率指标，比较GPT-3等模型。
实验设计
实验设计包括在4个未见任务（自然语言推理、共指消解、词义消歧、句子补全）上进行零样本评估，使用多样化提示集，比较模型在不同提示下的表现。还在BIG-bench上测试模型的泛化能力，评估不同提示数量和多样性对性能的影响。对比基线包括T5+LM和GPT-3模型，重点验证多任务提示训练的效果。采用中位数和四分位范围衡量模型鲁棒性，确保评估的公平性和代表性。
结果分析
模型在9个未见任务中表现优异，平均提升15%以上，尤其在NLI任务中，准确率达85%，超越GPT-3 175B模型。多样化提示显著增强模型鲁棒性，提示数量增加时，性能波动减小。BIG-bench测试中，T0系列模型在大多数任务中优于对比模型，T0++表现尤为突出，达6倍模型规模的优势。实验验证了提示多样性和多任务训练对零样本泛化的关键作用。
应用场景
该方法适用于需要快速适应新任务的智能助手、自动问答系统和内容生成平台。无需大量标注数据，只需设计多样化提示，即可实现多任务泛化，降低部署门槛。未来，结合自动提示生成和少样本学习，有望在专业领域和低资源场景中实现更广泛应用。
局限与展望
模型对提示设计仍较敏感，提示质量影响显著。训练过程依赖大量多样化提示，增加工程复杂度。在极端少样本或特定专业任务中仍存在性能瓶颈，未来需结合少样本学习策略，提升泛化能力。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂里有很多不同的任务，比如组装、包装、检验。以前，我们需要专门训练每个工人做每个任务，但现在，我们设计了一套通用的说明书（提示），告诉工人怎么做不同的任务。工人通过学习这些说明书，变得聪明起来，能自己理解新任务，不用每次都重新训练。这就像给模型写不同的提示，让它理解各种任务，从而在遇到新任务时也能轻松应对。这样，工厂的效率大大提高，工人（模型）变得更聪明、更灵活。
简单解释 像给14岁少年讲一样
你知道吗？就像你在学校学不同的科目，比如数学、英语、科学，老师有时候会给你一些提示，比如“用数学的方法解决这个问题”。如果你能理解这些提示，就能用学过的知识解决新问题。科学家们也在做类似的事情，他们训练一个超级聪明的机器人（模型），让它通过不同的提示理解各种任务，比如回答问题、写故事、判断句子意思。最厉害的是，这个机器人不用专门学每个任务，只要给它不同的提示，它就能自己理解并完成任务，就像你用不同的线索解谜一样。这让机器人变得更聪明，也更能帮你做事！
术语表
Prompt（提示）
一种用自然语言描述任务的方式，指导模型完成特定任务。技术上是模型输入的文本指令，帮助模型理解任务目标。
本文中用多样化提示模板引导模型学习多任务能力。
Zero-Shot（零样本）
模型在未见过特定任务或数据集上，凭借训练中学到的知识直接完成任务。技术上是模型无需额外训练即可推断。
本文重点在于提升模型的零样本泛化能力。
Multitask Prompted Training（多任务提示训练）
在多任务、多提示条件下训练模型，使其能在未见任务上进行推断。结合多样提示增强泛化。
本文提出的核心训练策略。
T5（Text-to-Text Transfer Transformer）
一种编码-解码架构的预训练模型，将所有任务统一转化为文本到文本的形式。
本文基础模型。
BIG-bench（大规模基准测试）
一套旨在测试大模型多样能力的挑战性任务集合。
评估模型泛化能力的重要基准。
开放问题 这项研究留下的未解疑问
- 1 如何自动生成更具语义理解的提示，减少人工设计负担，仍是未来研究的难点。
- 2 模型在极端少样本或专业领域任务中的表现仍有限，需结合少样本学习策略。
- 3 提示设计的最佳实践和理论基础尚不充分，亟待系统研究。
应用场景
近期应用
智能问答系统
利用多任务提示训练的模型，快速适应不同领域的问答任务，无需大量标注数据，提升效率和准确率。
内容生成平台
通过丰富提示实现多样化内容创作，如文章摘要、对话生成，降低内容生产门槛。
远期愿景
通用人工智能
实现具备多任务、多领域能力的AI系统，能自主理解新任务，减少人工干预，推动智能化普及。
原文摘要
Large language models have recently been shown to attain reasonable zero-shot generalization on a diverse set of tasks (Brown et al., 2020). It has been hypothesized that this is a consequence of implicit multitask learning in language models' pretraining (Radford et al., 2019). Can zero-shot generalization instead be directly induced by explicit multitask learning? To test this question at scale, we develop a system for easily mapping any natural language tasks into a human-readable prompted form. We convert a large set of supervised datasets, each with multiple prompts with diverse wording. These prompted datasets allow for benchmarking the ability of a model to perform completely held-out tasks. We fine-tune a pretrained encoder-decoder model (Raffel et al., 2020; Lester et al., 2021) on this multitask mixture covering a wide variety of tasks. The model attains strong zero-shot performance on several standard datasets, often outperforming models up to 16x its size. Further, our approach attains strong performance on a subset of tasks from the BIG-bench benchmark, outperforming models up to 6x its size. All trained models are available at https://github.com/bigscience-workshop/t-zero and all prompts are available at https://github.com/bigscience-workshop/promptsource.