核心发现
方法论
本文提出P-Tuning v2，基于深层连续提示（Deep Prompt Tuning），在每一层加入可训练提示，显著提升参数效率与模型表现。通过优化提示长度、重参数化和多任务训练策略，实现对不同规模（300M至10B参数）模型在序列标注和分类任务中的性能匹配或超越微调。核心算法包括多层提示插入机制和自适应优化流程，确保提示对模型输出的直接影响。实验采用SuperGLUE、CoNLL、SQuAD等公开数据集，比较微调、原始提示调优和本方法的性能差异。
关键结果
- 在模型参数仅占微调0.1%到3%的情况下，P-Tuning v2在SuperGLUE、NER、QA等任务中表现与微调持平，甚至在RTE任务中超越微调，达到了最新最优水平。
- 在不同模型规模（从300M到10B参数）上，P-Tuning v2均表现出优异的泛化能力，缩小了提示调优与微调之间的性能差距，特别是在中小模型中效果更为显著。
- 通过层间提示深度调节和多任务训练，验证了提示插入层数与任务性能的关系，提示深度越靠近输出层效果越佳，提升模型对复杂任务的适应性。
研究意义
该研究突破了提示调优在模型规模和任务复杂性上的局限，展示了参数高效、易扩展的调优方案，为大规模预训练模型的实用化提供了新路径。其普适性和简洁性使其成为未来迁移学习和多任务场景中的重要基线，有望推动自然语言处理的低成本高性能应用。
技术贡献
提出深层连续提示机制，突破传统单层提示限制，显著提升参数利用率。引入多层提示插入策略和自适应优化流程，结合多任务训练，增强模型泛化能力。技术细节包括提示长度调节、重参数化技术和训练稳定性提升措施，确保性能与微调持平或超越。
新颖性
首次系统性验证深层连续提示在多模型规模和复杂任务中的普适性，打破了提示调优仅适用于大模型和简单任务的局限。创新在于多层提示结构设计与优化策略，提供了参数高效、性能强的迁移方案。
局限性
- 在极端少样本或无标注场景下，提示调优仍面临优化不稳定和性能下降的问题，尤其在任务样本极少或噪声较多时效果有限。
- 深层提示引入的额外参数虽少，但在超大模型中仍存在存储和计算成本，限制了其在资源受限环境的应用。
- 对提示层数和长度的调节依赖经验，缺乏统一的理论指导，未来需进一步优化提示结构设计。
未来方向
未来将探索自动化提示结构搜索、多任务自适应调节机制，以及在少样本和零样本学习中的应用潜力。此外，结合知识图谱和外部知识源，提升提示调优的知识融入能力，推动模型在更复杂场景中的表现。
AI 总览摘要
在自然语言理解（NLU）领域，微调预训练模型虽取得显著成功，但其高昂的存储和计算成本限制了大规模应用。提示调优作为一种参数高效的替代方案，近年来受到关注，但在中小模型和复杂任务中表现尚不理想。本文提出的P-Tuning v2，基于深层连续提示（Deep Prompt Tuning），通过在每一层引入可训练提示，有效弥补了传统提示调优的不足。
该方法的核心创新在于多层提示插入策略和自适应优化流程，使得参数利用率大幅提升，模型性能与微调持平甚至超越。在多个公开数据集上，包括SuperGLUE、CoNLL和SQuAD，P-Tuning v2在参数占比仅为微调0.1%至3%的情况下，实现了与微调相媲美的效果，尤其在中小模型中表现优异。
实验结果显示，深层提示结构可以灵活调节提示深度，优化模型对复杂任务的适应性。该技术的普适性和简洁性，使其成为未来迁移学习和多任务场景中的重要基线，有望推动低成本高性能的自然语言处理应用。尽管如此，模型在极少样本和资源受限环境下仍存在一定挑战，未来需结合自动结构搜索和知识融入技术，进一步提升其泛化能力和实用性。
深度分析
研究背景
近年来，预训练语言模型（如BERT、GPT系列）极大推动了NLU的发展，微调技术成为主流，但其高昂的存储和计算成本限制了大规模部署。提示调优作为参数高效方案，逐渐兴起，尤其在大模型（如10B参数）上表现出潜力，但在中小模型和复杂任务中仍存在性能不足的问题。此前研究如Lester et al.（2021）和 Liu et al.（2021）提出单层连续提示，提升了简单分类任务的效果，但在序列标注和硬任务中表现欠佳。本文旨在突破这一瓶颈，探索深层连续提示的潜力。
核心问题
提示调优在模型规模和任务复杂性上的适应性不足，尤其在中小模型和硬序列标注任务中表现不佳。传统方法限制在输入层，参数利用率低，影响模型对复杂信息的捕获能力。此外，提示深度有限，难以实现任务的泛化与迁移，限制了其实际应用价值。如何设计一种参数高效、性能稳定且适用多任务、多规模的调优方法，成为亟待解决的核心问题。
核心创新
核心创新在于引入多层连续提示机制，突破单层限制，提升参数效率和模型表现。具体包括：
- �� 在每一层加入可训练提示，增强模型对深层特征的利用；
- �� 采用自适应提示长度调节，优化不同任务的提示结构；
- �� 多任务训练策略，共享提示参数，提高泛化能力。这些创新使得提示调优在中小模型和复杂任务中表现优异，显著缩小与微调的性能差距。
方法详解
- �� 设计多层提示结构，将可训练提示插入每一层Transformer中，增强模型表达能力；
- �� 采用重参数化技术（如MLP）提升提示的表达能力；
- �� 调整提示长度（如20-100词）以适应不同任务复杂度；
- �� 利用多任务训练，优化提示参数的泛化能力；
- �� 采用自适应优化算法（如AdamW）确保训练稳定性；
- �� 在每个任务中，使用随机初始化的线性分类头进行预测，避免Verbalizer限制。
实验设计
采用SuperGLUE、CoNLL、SQuAD等公开数据集，比较微调、原始提示调优和本方法。模型规模从300M到10B参数，评估指标包括准确率、F1和EM。超参数包括提示长度、层数和学习率。通过消融实验验证深层提示的效果，分析不同层插入位置对性能的影响。多任务训练提升了模型的泛化能力，验证了方法的普适性。
结果分析
在模型参数仅为微调0.1%-3%的情况下，P-Tuning v2在SuperGLUE、NER、QA任务中表现与微调持平，甚至在RTE任务中超越微调。不同模型规模（从300M到10B）均验证了其优越性，特别是在中小模型上效果更明显。深层提示的层数调节对性能影响显著，提示插入靠近输出层效果更佳。多任务训练进一步提升了模型的适应性和稳定性。
应用场景
该技术适用于需要快速部署和多任务迁移的工业场景，如客服、法律、医疗问答系统。只需少量参数调整，即可实现多任务适配，降低成本。未来可结合知识图谱和外部知识源，增强模型的知识融入能力，推动智能助手和自动问答系统的发展。
局限与展望
在极少样本或无标注环境中，提示调优仍存在优化不稳定和性能下降的问题。深层提示引入的参数虽少，但在超大模型中存储和计算成本仍较高。提示层数和长度的设计缺乏统一理论指导，未来需优化提示结构和自动搜索机制。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，传统的方法是每次都要重新调配所有调料（就像微调模型），既费时又费力。而提示调优就像提前准备一些调料包，只需少量调整就能做出不同菜肴。深层提示就像在每个步骤都放入不同的调料包，让菜的味道更丰富、更符合不同的口味。这样一来，做菜变得既快又灵活，还能用更少的调料，做出多样的美味。这个方法让AI模型也能像厨师一样，快速适应各种任务，节省资源，又不失效果。
简单解释 像给14岁少年讲一样
你知道在学校里学新东西，有时候老师会给你一些提示，比如“想想这个问题的关键在哪”，这样你就能更快找到答案。AI模型以前也是这样，想让它学会新任务，就像教它一些“提示”，让它自己猜答案。可是，有时候这些提示不够聪明，模型学得不够好。现在，这个新方法就像在每一层都放入聪明的“提示”，让模型学得更快、更准，就像在每个步骤都帮你准备好工具一样。这样一来，不管任务多难，模型都能变得更厉害，学得更快，还省了很多时间和资源。是不是很酷？
原文摘要
Prompt tuning, which only tunes continuous prompts with a frozen language model, substantially reduces per-task storage and memory usage at training. However, in the context of NLU, prior work reveals that prompt tuning does not perform well for normal-sized pretrained models. We also find that existing methods of prompt tuning cannot handle hard sequence labeling tasks, indicating a lack of universality. We present a novel empirical finding that properly optimized prompt tuning can be universally effective across a wide range of model scales and NLU tasks. It matches the performance of finetuning while having only 0.1%-3% tuned parameters. Our method P-Tuning v2 is an implementation of Deep Prompt Tuning \cite{li2021prefix,qin2021learning} optimized and adapted for NLU. Given the universality and simplicity of P-Tuning v2, we believe it can serve as an alternative to finetuning and a strong baseline for future research.Our code and data are released at https://github.com/THUDM/P-tuning-v2.