核心发现
方法论
该方法采用域特定的自监督预训练Transformer，利用MLM目标学习恶意包的语义特征。基于预训练模型，使用LoRA实现参数高效微调，冻结核心特征提取器，仅调整轻量级适配器以适应新类。增量阶段采用原型分类器，通过支持样本平均构建类别原型，避免存储敏感数据，确保无重放。整体架构结合SSL、LoRA和原型方法，有效缓解灾难性遗忘问题，适应动态威胁环境。
关键结果
- 在CIC-IDS2017和UNSW-NB15数据集上，提出方法在第3轮增量任务中，准确率分别达到61.05%和58.59%，优于现有无重放基线8%以上。稳定性方面，平均遗忘率降低至8.59%，显著优于传统方法，验证了静态特征空间的鲁棒性。多次实验表明，参数高效微调结合SSL预训练能在极少样本条件下实现优异性能。
- 对比重放方法，非重放模型在保持相似准确率的同时，遗忘率降低一半，体现出安全性和稳定性优势。消融实验显示，SSL预训练和LoRA适配器共同作用显著提升模型泛化能力，特别是在高相似度类别区分任务中表现优越。
- 模型在不同攻击子类细粒度识别中表现出较强适应性，验证了其在复杂威胁场景中的实用潜力。
研究意义
本研究突破了恶意软件持续学习中的数据隐私与安全限制，提出无需存储敏感样本的无重放方案。结合SSL和参数高效微调技术，显著提升模型在少样本环境下的适应能力，为网络安全中的动态威胁检测提供了新思路。这一框架不仅理论创新，还具备实际部署价值，尤其适用于隐私敏感和快速变化的网络环境，有助于构建更安全、智能的入侵检测系统。
技术贡献
首次将自监督预训练Transformer与LoRA适配器结合应用于恶意包的少样本持续学习，提出无重放的原型分类方案，显著降低存储和隐私风险。该方法通过冻结预训练特征提取器，仅调整轻量级参数，有效缓解灾难性遗忘问题，提升模型稳定性。实验验证其在多个真实数据集上的优越性能，推动了安全领域中参数高效微调和持续学习的结合应用。
新颖性
本工作首次将自监督预训练Transformer与LoRA适配器结合，专为恶意包的少样本持续学习设计，突破了传统依赖重放缓解遗忘的限制。提出的无重放原型分类策略，结合SSL预训练的鲁棒特征空间，为安全领域提供了全新解决方案，区别于以往多依赖样本存储和全参数微调的方法，具有明显创新性。
局限性
- 模型预训练阶段计算成本较高，依赖大规模无标签恶意包数据，可能受数据多样性限制。
- 冻结特征提取器在面对极大域偏移或新型攻击时，可能限制模型的塑性，影响识别能力。
- 参数微调主要针对Transformer的自注意力层，未充分考虑其他模型结构的潜在优势。
未来方向
未来将探索多模态、多源数据的联合预训练，提升模型对未知威胁的泛化能力。同时，结合少样本增强技术，进一步优化增量学习的适应性。还将研究动态调整适配器参数的策略，以应对更大规模的威胁演变，推动安全模型的持续优化。
AI 总览摘要
随着网络威胁的不断演变，传统的恶意软件检测模型面临着灾难性遗忘和隐私保护的双重挑战。现有方法多依赖大量标注数据和样本重放，存在存储风险和适应性不足的问题。本文提出了一种基于Adapter的少样本持续学习框架，结合自监督预训练Transformer和LoRA参数微调技术，有效解决了无重放环境下的模型稳定性与适应性难题。
该方法首先在大量未标注的恶意包数据上进行MLM目标的预训练，学习鲁棒的域特定特征。随后，在有限样本的增量阶段，通过冻结预训练模型，仅调整轻量级适配器，实现新类别的快速识别。采用原型分类器，避免存储敏感数据，确保安全。实验证明，该模型在CIC-IDS2017和UNSW-NB15数据集上，准确率显著优于现有无重放方法，且遗忘率降低一半以上。
这一创新方案不仅提升了模型的安全性和隐私保护，还为动态威胁环境中的持续学习提供了新思路。未来，结合多源数据和动态适配策略，有望实现更强的泛化能力和实时响应能力，推动网络安全智能化发展。
深度分析
研究背景
近年来，深度学习在网络安全中的应用不断深化，尤其在恶意流量检测和威胁识别方面取得突破。代表性工作如Deep Packet和Packet Inspection Transformer，利用深度模型提取复杂特征，实现高准确率。然而，传统模型在面对新型威胁时，需大量标注数据，且难以适应威胁快速变化的环境。持续学习（Continual Learning）和少样本学习（Few-Shot Learning）逐渐成为研究热点，旨在实现模型的动态适应。近年来，Transformer架构因其强大的表达能力被引入安全领域，结合自监督学习（SSL）技术，减少对标注数据的依赖，提升泛化能力。尽管如此，灾难性遗忘仍是制约模型持续适应的关键难题，尤其在隐私敏感的安全场景中，存储历史样本存在巨大风险。
核心问题
在恶意软件检测中，模型需要不断适应新出现的攻击类型，传统方法依赖大量标注样本和重放机制，存在隐私泄露和存储风险。此外，模型在多轮增量学习中容易遗忘先前学习的类别，影响整体检测效果。如何在保证数据隐私的前提下，实现模型在少样本条件下的持续适应，成为亟待解决的难题。现有技术多依赖全参数微调或存储历史样本，成本高且不安全，限制了其在实际部署中的应用。
核心创新
本研究提出结合自监督预训练Transformer和LoRA适配器的无重放持续学习框架，创新点包括：1）在大规模无标签恶意包数据上进行MLM预训练，学习鲁棒域特征；2）冻结预训练模型，仅微调轻量级适配器，提升参数效率；3）采用原型分类器，避免存储敏感样本，确保隐私安全。该方案显著降低了灾难性遗忘，提高模型稳定性，同时实现快速适应新类别，满足实际安全场景的需求。与传统全参数微调和重放方法相比，具有更高的安全性和效率。
方法详解
- �� 预训练阶段：利用大量未标注的恶意包数据，采用MLM目标训练Transformer，学习通用语义特征。输入为字节序列，利用掩码预测原始字节，优化交叉熵损失。
- �� 基础会话适配：在预训练基础上，冻结Transformer参数，仅调整LoRA适配器参数，实现对基础类别的高效微调。
- �� 增量学习：新类别支持样本少（K-shot），通过支持样本平均构建类别原型，避免存储敏感数据。原型通过L2归一化后，采用缩放余弦相似度进行分类。
- �� 无重放机制：不存储历史样本，模型参数保持静态，利用预训练特征空间的鲁棒性，持续识别新类别。
- �� 评估指标：准确率和平均遗忘率，验证模型在多轮增量任务中的性能和稳定性。
实验设计
使用CIC-IDS2017和UNSW-NB15两个公开恶意包数据集，按照标准的5-shot增量协议划分训练集和测试集。基础会话（S0）使用500样本/类，后续会话（S1-S3）每类仅支持5个样本。模型在每轮增量后，评估累计类别的准确率和遗忘率，比较重放与非重放方案。超参数包括LoRA秩为8，学习率1e-4，训练三次随机种子取平均。通过消融实验验证SSL预训练和LoRA的贡献。
结果分析
在两个数据集上，提出方法在第3轮增量任务中，准确率分别达到61.05%和58.59%，优于无重放基线8%以上。遗忘率显著降低至8.59%，比传统方法低一半。模型在不同攻击子类识别中表现出较强适应性，验证了其在复杂威胁场景中的实用性。参数微调结合SSL预训练，有效平衡模型的稳定性和塑性，满足安全环境的需求。
应用场景
该模型适用于企业网络安全系统，能在隐私敏感环境中实时识别新型威胁，无需存储敏感样本。可部署于入侵检测系统（IDS）和安全信息事件管理（SIEM）平台，提升动态威胁响应能力。未来可结合多源数据，增强模型泛化能力，支持更大规模的威胁演变监测。
局限与展望
模型预训练成本较高，依赖大量无标签数据，且在极端域偏移下可能表现不足。冻结特征空间限制了模型的塑性，面对新颖攻击可能识别困难。未来需探索动态调整适配器参数和多模态预训练策略，以提升适应性和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂每天都在生产不同的商品。为了保证生产效率，你需要一个非常聪明的机器人，它能快速学习新商品的特点，同时记住以前的商品。传统的方法就像让机器人不停地重看所有商品的说明书，既费时间又容易忘记以前学过的内容。而这项研究就像给机器人装上了一个特别的记忆芯片，让它只用少量新信息就能学会新商品，而且还能记住以前的商品。这个记忆芯片是通过让机器人在没有标签的情况下自己学习（自监督学习），然后用一种叫LoRA的轻量级调节工具，只调整少量参数，就能让机器人变得更聪明。这样，工厂的机器人既能快速适应新商品，又不会忘记旧的，既安全又高效。
简单解释 像给14岁少年讲一样
想象你在学校里学新东西，老师给你一些新题目，但只告诉你几次，不能让你记住所有细节。以前的学习方法就像反复看所有的题目，既浪费时间又容易忘记。而这次，老师给你一种特别的学习方法，让你用少量的时间就能理解新题，同时还能记住以前的知识。这就像你有一个超级聪明的脑袋，能自己在没有老师帮忙的情况下，学会新东西，还能记住以前的内容。这个方法用到了一个叫自监督学习的技巧，让电脑自己找规律；用LoRA这个工具，只调整很少的参数，就能学会新东西。这样，电脑就变得又快又稳，不会轻易忘记以前学过的东西，也能快速适应新挑战。
术语表
自监督学习 (Self-Supervised Learning)
一种无需标注数据，通过设计预任务让模型自己学习特征的方法。技术上通过掩码预测等机制实现特征提取，在论文中用于预训练Transformer模型以学习恶意包的语义。
LoRA (Low-Rank Adaptation)
一种参数高效的微调技术，通过引入低秩矩阵调整预训练模型的注意力层参数，减少训练参数量，保持模型稳定性，在增量学习中有效缓解灾难性遗忘。
原型分类器 (Prototype Classifier)
一种基于类别原型的分类方法，通过支持样本的特征平均值作为类别代表，利用相似度进行分类，避免存储敏感样本，适合无重放环境。
灾难性遗忘 (Catastrophic Forgetting)
模型在连续学习过程中，因学习新任务而丧失旧任务知识的现象，尤其在参数微调或无样本存储时尤为严重。
MLM (Masked Language Modeling)
一种自监督预训练目标，通过掩码部分输入，预测掩码位置的原始内容，用于学习上下文语义特征。
开放问题 这项研究留下的未解疑问
- 1 未来研究中，如何在极端域偏移或新型威胁出现时，保持模型的塑性和鲁棒性仍是挑战。现有方法多依赖静态特征空间，难以应对完全未知的攻击类型。探索动态调整模型参数或引入多模态信息，将是未来的重要方向。
应用场景
近期应用
企业入侵检测系统
可部署于企业网络中，实时识别新型威胁，保护敏感信息。无需存储敏感样本，符合隐私法规，提升检测效率。
安全应急响应平台
结合模型的快速适应能力，提升对新出现攻击的响应速度，减少安全事件的影响。
远期愿景
智能安全防御体系
未来可实现全自动化的威胁识别与响应，模型持续学习新威胁，保障网络环境的长期安全。
原文摘要
The continual evolution of malware variants necessitates detection systems that can adapt to new threats without retraining from scratch. However, continually updating models on new data often leads to catastrophic forgetting, where previously learned knowledge is overwritten. While continual learning has been increasingly explored for malware detection, the specific setting of Few-Shot Class-Incremental Learning (FSCIL), where new malware classes must be learned from only a small number of labeled examples, remains comparatively underexplored. Therefore, this work investigates the FSCIL setting for malware classification. To address the stability-plasticity dilemma, we propose a hybrid framework that leverages a Self-Supervised Learning (SSL) backbone initialized through domain-specific pre-training on malware packets. Our method incorporates Low-Rank Adaptation (LoRA) to efficiently adapt the model during the base session while freezing the core backbone to preserve previously learned representations, alongside a prototype-based classification head for incremental sessions to establish robust decision boundaries from limited samples. Extensive experiments across several datasets demonstrate that our approach consistently outperforms prior malware FSCIL baselines and achieves state-of-the-art performance.