核心发现
方法论
SparSEEty通过结合页面故障、块I/O和内存分配侧信道，构建神经元激活Oracle，监控稀疏FFN层的权重访问。利用二值激活信息，结合模型的概率分布，逆推输入Token。攻击分为在线监测和离线重建两个阶段，采用选择性监控和链式页面预置技术降低检测风险。逆向过程基于逐步匹配二值激活和词表概率，确保高准确率。
关键结果
- 在多个Transformer模型（GPT-2、LLaMA）上，SparSEEty能以BLEU分数>0.95成功重建Prompt和Response Token，监控开销仅为3.7%至7.2%。在不同数据集（WikiText、OpenWebText）上表现一致，监控少量神经元（约0.02%的FFN神经元）即可达到高还原率。
- 对加入LoRA微调的模型，监控神经元数提升至400，但仍保持高准确性，验证了方法的鲁棒性。
- 通过消融实验，验证选择性监控策略在降低检测风险同时不损失重建精度，突显攻击的实用性。
研究意义
该研究揭示了稀疏激活优化带来的隐私风险，尤其在Confidential Virtual Machine环境中，攻击者无需实时查询即可逆向重建敏感Token。这对大规模模型的安全部署提出了挑战，促使行业重新审视模型优化与隐私保护的平衡。研究推动了侧信道攻击技术在模型安全中的应用边界，为未来设计更安全的推理架构提供了理论依据。
技术贡献
本研究首次系统性结合多侧信道（页面故障、块I/O、内存分配）实现稀疏激活逆向，提出二值激活反演算法，结合模型概率分布优化搜索策略。实现了在无实时查询条件下的端到端Token重建，突破了以往依赖全精度激活值的限制。技术上，提出了选择性监控和链式页面预置技术，有效降低检测风险，增强攻击隐蔽性，为模型隐私攻击提供新范式。
新颖性
不同于传统的中间激活反演或KV缓存逆向，SparSEEty利用稀疏激活的输入依赖性，通过侧信道泄露的二值信息逆向重建Token，首次在Confidential VM环境中实现端到端攻击。其结合多侧信道、多技术优化的方案，显著提升了攻击的实用性和隐蔽性，填补了稀疏性优化带来的隐私风险研究空白。
局限性
- 当前方法依赖于特定硬件环境（如Intel TDX），在不同硬件平台上可能存在适应性问题。
- 只对稀疏激活模型有效，对于全激活模型或非ReLU激活函数的模型，攻击效果有限。
- 逆向过程在极端低激活率或高噪声环境下可能出现误差，影响重建准确性。
未来方向
未来将探索多模态模型中的侧信道泄露，提升逆向鲁棒性，研究更广泛硬件平台的适应性。同时，结合防御机制设计，推动模型隐私保护技术的发展，确保模型优化与安全的平衡。
AI 总览摘要
现代大规模语言模型（LLMs）由于激活稀疏性，只有部分神经元在推理时被激活。研究者利用这一特性优化模型推理效率，减少计算资源消耗。然而，这一优化带来了新的隐私风险：输入依赖的内存访问模式可能被侧信道泄露，导致敏感Token被逆向重建。本文提出SparSEEty，一种基于多侧信道的端到端Token反演攻击。攻击流程包括在Confidential Virtual Machine（CVM）中利用页面故障、块I/O和内存分配侧信道，构建神经元激活Oracle，监控稀疏FFN层的权重访问。通过结合模型的概率分布信息，逐步逆推输入Token，达到高精度重建效果。实验证明，在多种Transformer模型（如GPT-2、LLaMA）和数据集（WikiText、OpenWebText）上，SparSEEty能以BLEU分数超过0.95成功还原Prompt和Response，监控开销仅为3.7%至7.2%。此方法在加入LoRA微调的模型中依然有效，验证了其鲁棒性。研究揭示了模型稀疏优化与隐私保护的矛盾，为未来模型设计提供了重要启示。尽管如此，攻击在不同硬件平台和模型结构下仍存在一定局限，未来工作将关注多模态环境和防御机制的结合，推动模型安全技术的发展。
深度分析
研究背景
随着Transformer模型的广泛应用，激活稀疏性成为提升推理效率的重要手段。早期工作如Sparse Transformers和ReLU激活引入的稀疏机制，显著减少了计算成本。相关研究如Megatron-LM、GPT-3采用模型并行和KV缓存技术优化推理速度。与此同时，侧信道攻击如缓存攻击、页面故障攻击逐渐被发现，威胁模型安全。近年来，研究逐步关注模型隐私泄露风险，特别是在Confidential Virtual Machine（CVM）环境中，侧信道泄露成为新焦点。尽管如此，利用激活稀疏性进行Token重建的系统性研究尚缺乏，特别是在硬件侧信道和模型优化结合的场景中。
核心问题
激活稀疏性虽带来效率提升，但也引入了输入依赖的内存访问模式，成为潜在的隐私泄露途径。在Confidential VM环境中，攻击者可以利用页面故障、块I/O和内存分配侧信道，监控稀疏FFN层的权重访问，从而逆向推断输入Token。现有防御措施多侧重于加密和访问控制，未充分考虑侧信道泄露风险。如何在保证模型性能的同时，防止激活稀疏性带来的信息泄露，成为亟待解决的核心问题。
核心创新
本研究提出SparSEEty，首次系统性结合多侧信道技术（页面故障、块I/O、内存分配）实现稀疏激活的端到端Token反演。创新点包括：• 构建神经元激活Oracle，利用侧信道泄露的二值激活信息逆向推断Token；• 设计选择性监控策略，减少检测风险；• 引入链式页面预置技术，降低CVM退出成本；• 结合模型概率分布优化搜索策略，提高逆向效率。该方案突破了以往依赖全精度激活值的限制，显著提升攻击实用性。
方法详解
- �� 识别神经元下投影权重的GPAs，结合页面故障、块I/O和内存分配侧信道实现监控。• 利用页面故障触发机制，捕获稀疏FFN层的二值激活信息。• 采用选择性监控策略，只监控关键神经元，降低检测风险。• 通过链式页面预置技术，减少CVM退出次数，确保连续监控。• 离线阶段，利用逐步逆推方法，将二值激活序列映射到对应Token，结合模型的概率分布，优化搜索过程。• 通过逐个Token逆向，重建完整输入序列。
实验设计
在GPT-2、LLaMA等多个Transformer模型上，使用WikiText和OpenWebText数据集，评估SparSEEty的重建效果。设置监控神经元数为100（第一层FFN），观察BLEU分数和监控开销。对比不同监控策略（全监控、选择性监控），验证鲁棒性。采用不同微调版本（如LoRA）测试适应性。通过消融实验，分析各技术组件对性能的影响。结果显示，少量神经元即可实现高精度重建，且监控成本低。
结果分析
SparSEEty在多模型、多数据集上实现BLEU分数>0.95，重建Prompt和Response。监控开销控制在3.7%-7.2%，远低于全监控方案。加入LoRA微调后，监控神经元数提升至400，仍保持高准确率。消融实验验证选择性监控和链式预置技术在降低检测风险的同时不影响重建效果。整体表现优于现有方法，验证了其在实际环境中的应用潜力。
应用场景
该攻击揭示了在模型优化过程中潜在的隐私风险，适用于模型部署安全评估、隐私保护技术验证。行业可借助此技术检测模型在稀疏优化下的隐私泄露风险，推动安全设计。未来，结合防御机制，提升模型在实际应用中的安全性，确保敏感信息不被侧信道泄露。
局限与展望
攻击依赖特定硬件环境（如Intel TDX），在不同平台上可能效果有限。对非稀疏模型或激活函数非ReLU的模型效果较差。逆向过程在极低激活率或高噪声环境下存在误差。未来需扩展多平台适应性和增强鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂里有很多机器（神经元），每个机器在不同的任务（输入）下会开启或关闭。为了让工厂更快工作，工厂老板（模型优化者）让只有部分机器在工作（激活稀疏）。但如果有人偷偷观察工厂的电力使用（侧信道），就能猜出哪些机器在工作，从而知道工厂在做什么。这就像有人通过观察电灯的亮灭，推测工厂的生产内容。本文的攻击方法就是利用这些电灯变化，反向推算出工厂的生产计划（输入Token），即使工厂试图隐藏信息，也难以避免被观察到。
简单解释 像给14岁少年讲一样
想象你在学校的厨房里做饭，厨房里有很多厨师（神经元），每次做不同的菜（输入）时，只有一些厨师会出现在厨房（激活）。为了让做饭更快，厨师们只叫出一部分人（稀疏激活），而你可以偷偷观察厨房的灯光（侧信道），知道哪些厨师在工作。通过观察灯光的亮灭，你可以猜出他们在做什么菜（Token）。这就像有人在暗中看你做饭，虽然你试图隐藏，但他们还是能猜出你的菜单。本文的方法就是利用这些灯光变化，反推你在厨房做的菜，揭示了隐藏的秘密。
术语表
Side Channel (侧信道)
通过非直接途径（如缓存、页面故障）泄露信息的技术，常用于攻击或监控系统。
本文利用页面故障和块I/O侧信道泄露稀疏激活信息。
Activation Sparsity (激活稀疏性)
神经网络中部分神经元在推理时被激活，导致大部分神经元值为零，提升效率。
模型利用激活稀疏性优化推理，但也引发隐私风险。
Confidential Virtual Machine (CVM, 保密虚拟机)
在硬件层面提供安全隔离的虚拟机环境，保护运行中的敏感数据。
攻击目标是在CVM中实现的稀疏模型推理系统。
Token (Token, 词元)
文本中的基本单位，可为字、词或子词，用于模型输入输出。
攻击目标是重建输入和输出的Token序列。
Sparse Matrix-Vector Multiplication (稀疏矩阵-向量乘法)
只计算非零元素的矩阵与向量乘积，减少计算量。
用于FFN层的稀疏下投影计算。
开放问题 这项研究留下的未解疑问
- 1 如何在不同硬件平台（如GPU、ARM）上实现类似攻击，是否存在平台特异性差异。
- 2 未来如何设计防御机制，有效抵抗此类多侧信道联合反演攻击。
应用场景
近期应用
模型安全评估
安全团队可以利用此技术检测模型在稀疏优化下的隐私泄露风险，优化模型设计，增强隐私保护措施。
远期愿景
隐私保护技术发展
推动开发抗侧信道的模型架构和硬件设计，确保大模型在优化效率的同时，保障用户隐私。
原文摘要
Modern large language models (LLMs) exhibit activation sparsity, wherein only a subset of their neurons is activated for given input tokens. Researchers have leveraged this property to optimize LLM serving systems by omitting weight accesses and computations pertaining to inactive neurons. Unfortunately, however, such optimizations create input-dependent weight accesses, which can be leaked over side channels. We present SparSEEty, a new token extraction attack that exploits input-dependent neuron weight accesses introduced by sparsity-exploiting LLM serving systems. SparSEEty first constructs a neuron-activation oracle using neuron weight access side channels during LLM inference, and then inverts the activation traces to reconstruct the input tokens, forming an end-to-end token extraction attack. We instantiate SparSEEty against an LLM serving system protected inside an Intel TDX confidential virtual machine (CVM), addressing three key challenges: (i) constructing a neuron-activation oracle using a combination of side channels exposed by CVMs, (ii) reducing inference-time overheads of neuron activation monitoring for covertness, and (iii) accurately inverting partial binary activation traces back to tokens. Our evaluation shows that SparSEEty can reconstruct both prompt and response tokens with consistently high BLEU scores (>0.95) across various models and datasets, while incurring monitoring overheads of 3.7% to 7.2%.