核心发现
方法论
本文提出L2P框架，基于预训练模型，通过学习可调节的小型提示参数存储任务知识。提示存储在提示池中，采用实例级查询机制动态选择相关提示，避免任务识别依赖。优化目标结合交叉熵损失与提示匹配距离，确保任务共享与任务特异性知识的平衡。该方法在图像分类多个连续学习任务中表现优异，特别是在无缓冲区和任务无关场景中，超越现有状态-of-the-art技术。
关键结果
- 在Split CIFAR-100任务中，L2P在无缓冲情况下达到83.83%的平均准确率，显著优于传统方法如EWC（47.01%）和LwF（60.69%），同时在Buffer为5的设置中，L2P达到了81.14%的平均准确率，远超大部分缓冲方法。该方法在CORe50域增量任务中也取得了78.33%的测试准确率，优于多项对比方法，显示其在不同场景下的鲁棒性。
- 在任务无关的高难度Gaussian CIFAR-100场景中，L2P达88.34%的测试准确率，优于大部分基于缓冲的对比方法（如DER++ 85.24%），验证其在无任务边界条件下的有效性。 Ablation研究显示，提示池大小和实例查询机制对性能影响显著，验证了设计的合理性。
- 该方法在不同连续学习设置中均表现出优越的知识迁移能力和抗遗忘性，尤其在缓冲区极小甚至无缓冲情况下，仍能保持竞争力，显示其在实际应用中的潜力。
研究意义
L2P突破了连续学习中缓冲存储的依赖，提出无需任务识别的动态提示机制，为模型在隐私保护、边缘计算等场景提供了新思路。其显著提升模型的泛化能力和抗遗忘能力，推动连续学习向更高效、更实用方向发展。该技术不仅丰富了提示学习的理论体系，也为模型压缩与知识管理提供了新工具，有望在自动驾驶、医疗影像等领域实现广泛应用。
技术贡献
本文首次将提示池引入连续学习，设计了实例级动态提示查询机制，有效隔离任务特异性与共享知识，减少干扰。提出的优化目标结合提示匹配距离与分类损失，保证模型的可塑性与知识迁移能力。该方法无需任务标签或缓冲区，极大降低存储成本，提升模型适应性。技术上，结合预训练模型与提示机制，开启了模型压缩与快速学习的新路径，为未来多任务学习提供了理论与工程基础。
新颖性
本研究首次将提示学习引入连续学习场景，创新性地设计了无需任务识别的实例级提示池，突破了传统缓冲和架构分离方法的限制。与现有方法不同，L2P强调动态提示的自适应选择与知识隔离，极大减少干扰，提升泛化能力。这一思路为连续学习提供了全新视角，开启了模型参数高效管理与知识迁移的新方向。
局限性
- 当前方法在极端任务切换频繁或任务极度相似的场景中，提示池的区分能力可能下降，影响性能。
- 提示池规模虽小，但在超大规模任务或多模态场景下，仍存在存储与检索效率挑战。
- 模型在高复杂度任务中的表现依赖预训练模型的能力，迁移到低资源环境仍需优化。
未来方向
未来将探索多模态、多任务场景下的提示池扩展策略，提升模型的泛化与适应能力。同时，结合元学习机制优化提示选择策略，增强模型在新任务中的快速适应性。还将研究提示池的结构优化与压缩技术，以适应边缘设备的计算资源限制，推动连续学习在实际应用中的落地。
AI 总览摘要
连续学习旨在让模型在面对不断变化的数据分布时，持续积累知识而不遗忘。传统方法多依赖缓冲区存储旧任务样本，或借助任务标签进行架构调整，但这些方案在隐私保护和资源受限场景中表现不足。本文提出L2P（Learning to Prompt）框架，通过学习一组动态可调的提示参数，存储在提示池中，指导预训练模型完成新任务。该机制无需任务识别，利用实例级查询动态选择提示，有效隔离任务特异性与共享知识，极大减少干扰。实验结果显示，L2P在多个图像分类连续学习任务中表现优异，尤其在无缓冲或任务无关场景中，超越多项SOTA方法。其核心创新在于将提示学习引入连续学习，开启了模型参数管理与知识迁移的新思路。未来，该技术有望在隐私保护、边缘计算等领域实现广泛应用，推动连续学习向更高效、更实用的方向发展。尽管如此，模型在极端场景下仍需优化提示池结构和检索机制，以应对复杂多变的实际需求。
深度分析
研究背景
连续学习作为人工智能的重要研究方向，旨在解决模型在面对多任务、多场景时的遗忘问题。早期方法如正则化技术（EWC、LwF）通过限制参数更新缓解遗忘，但效果有限。缓冲区方法（如Replay）通过存储旧样本实现知识重用，效果显著，但受限于存储资源和隐私问题。架构分离方法（如DualNet）通过任务特异子网络实现知识隔离，但增加模型复杂度。近年来，提示学习在自然语言处理中的成功激发了将其引入视觉连续学习的兴趣，提供了新的知识管理途径。
核心问题
核心挑战在于如何在无任务识别信息的情况下，有效存储和迁移多任务知识。传统方法依赖缓冲区或任务标签，存在存储成本高、隐私风险大、泛化能力不足的问题。如何设计一种既能动态选择任务相关知识，又能保持模型高塑性的方法，成为研究难点。特别是在任务边界模糊或场景复杂的实际应用中，模型需要自主判断任务内容，避免依赖外部任务信息。
核心创新
提出L2P框架，创新点包括：1）引入提示池存储多任务知识，减少存储需求；2）设计实例级查询机制，动态选择提示，无需任务标签；3）结合匹配距离与分类损失，优化提示选择与知识迁移；4）保持预训练模型参数不变，提升模型泛化能力。该方法突破了缓冲区依赖，兼具模型压缩与知识迁移优势，为连续学习提供了全新解决方案。
方法详解
- �� 构建提示池P={P1,...,PM}，每个提示为可调参数；
- �� 设计输入特征提取器q(x)，生成查询向量；
- �� 采用余弦距离匹配，动态选取最相关的N个提示；
- �� 将选中提示拼接到输入特征，作为模型输入；
- �� 通过端到端优化，结合交叉熵和匹配距离损失，调整提示参数；
- �� 在训练过程中，动态更新提示池，确保知识的迁移与隔离；
- �� 在测试时，实例级查询自动选择提示，无需任务标签。
实验设计
采用CIFAR-100、5-datasets、CORe50和高难度高斯调度CIFAR-100等多个公开数据集，比较缓冲与无缓冲方法。指标包括平均准确率、遗忘量，采用不同缓冲区大小和任务设置，验证模型的鲁棒性。对比多种SOTA方法，进行消融分析，评估提示池规模、查询机制的影响。实验强调在无缓冲和任务无关场景中的优越表现。
结果分析
L2P在无缓冲条件下达83.83%的平均准确率，优于EWC、LwF等传统方法，且在Buffer为5时达81.14%。在CORe50域增量任务中，达78.33%，优于多数对比方法。在高难度Gaussian场景中，准确率达88.34%，显著优于DER++等缓冲方法。消融实验显示提示池规模和实例查询机制对性能影响显著，验证设计合理性。整体表现证明L2P在多场景下的强适应性与抗遗忘能力。
应用场景
该技术适用于需要连续学习、多任务适应的场景，如自动驾驶中的场景识别、医疗影像中的多模态诊断、边缘设备的个性化模型更新。无需任务标签或缓冲区，便于隐私保护和资源受限环境部署。未来可结合元学习优化提示策略，实现更快适应新任务，推动工业界在智能监控、机器人等领域的应用。
局限与展望
模型在极端任务频繁切换或任务高度相似时，提示区分能力可能下降。提示池规模在超大任务场景中仍需优化以保证检索效率。预训练模型的能力限制了迁移效果，低资源环境下表现仍需提升。未来需研究提示池结构优化与多模态扩展，以应对更复杂的实际需求。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂每天都要生产不同的产品。有时候，工厂会用不同的工具和流程来做不同的产品，但你不想每次都重新学习所有流程。于是，你有一套小标签（提示）可以贴在机器上，告诉它该用哪个流程。工厂还会根据每个订单的特点，自动选择合适的标签，让机器知道怎么做。这样，不用记住所有流程，也不用存很多旧产品的样品，就能快速应对新订单。这个方法就像L2P，用提示池存储不同的“标签”，自动选择最合适的指令，帮助模型在不断变化的任务中学习，既节省空间，又能保持灵活性。
简单解释 像给14岁少年讲一样
想象你在学校里学习不同的科目，比如数学、英语和科学。每个科目都有自己的老师和教材，但你不想每次都重新学一遍所有内容。于是，你的老师给你一些小卡片（提示），上面写着“数学问题”、“英语句子”或者“科学实验”。每次考试前，老师会根据题目选择合适的卡片，把它贴在你的书上，告诉你该用哪个方法解题。这样，你就不用记住所有的知识点，只需要看一看卡片，就知道怎么做。L2P就像这个老师，用一组小卡片存储不同任务的“指令”，根据需要自动选择，帮助模型在连续学习中记住新知识，又不忘旧的，就像你在学校里灵活应对各种科目一样！
原文摘要
The mainstream paradigm behind continual learning has been to adapt the model parameters to non-stationary data distributions, where catastrophic forgetting is the central challenge. Typical methods rely on a rehearsal buffer or known task identity at test time to retrieve learned knowledge and address forgetting, while this work presents a new paradigm for continual learning that aims to train a more succinct memory system without accessing task identity at test time. Our method learns to dynamically prompt (L2P) a pre-trained model to learn tasks sequentially under different task transitions. In our proposed framework, prompts are small learnable parameters, which are maintained in a memory space. The objective is to optimize prompts to instruct the model prediction and explicitly manage task-invariant and task-specific knowledge while maintaining model plasticity. We conduct comprehensive experiments under popular image classification benchmarks with different challenging continual learning settings, where L2P consistently outperforms prior state-of-the-art methods. Surprisingly, L2P achieves competitive results against rehearsal-based methods even without a rehearsal buffer and is directly applicable to challenging task-agnostic continual learning. Source code is available at https://github.com/google-research/l2p.