核心发现
方法论
本文提出了一种名为Stable Spike的方法，通过硬件友好的“AND”位操作实现双重一致性优化。该方法将稳定的脉冲骨架从多时间步的脉冲图中高效解耦，捕获关键语义并减少可变噪声脉冲带来的不一致性。此外，通过注入幅度感知的脉冲噪声，丰富了表示的多样性，同时保持一致的语义。
关键结果
- 在DVS-Gesture数据集上，Stable Spike方法在超低延迟的情况下将准确率提高了8.33%。实验结果表明，使用VGG-9架构时，准确率从87.15%提升至94.44%。
- 在CIFAR10-DVS数据集上，使用Stable Spike方法的VGG-9架构在4个时间步下的准确率达到77.1%，相较于基线模型提升了4.2%。
- 在不同架构上的消融实验表明，Stable Spike方法在多种SNN架构上均能显著提升性能，尤其是在QKFormer架构上，性能提升至82.9%。
研究意义
Stable Spike方法在学术界和工业界具有重要意义。它解决了SNN在多时间步下的一致性问题，显著提升了神经形态对象识别的性能，尤其是在超低延迟的情况下。这一方法的提出为SNN在低功耗、高性能计算中的应用提供了新的可能性，推动了神经形态计算的发展。
技术贡献
Stable Spike方法在技术上具有显著贡献。与现有方法不同，它无需修改神经元或架构即可提升SNN的一致性和性能。通过硬件友好的“AND”位操作，该方法有效地提取了稳定的脉冲骨架，并通过幅度感知的脉冲噪声增强了泛化能力。这为SNN的进一步优化提供了新的思路。
新颖性
Stable Spike方法的创新之处在于首次通过位操作实现了SNN的双重一致性优化。相比于现有的间接方法，该方法直接作用于脉冲图，显著提升了一致性和识别性能。此外，幅度感知的脉冲噪声的引入也是该方法的一大创新。
局限性
- 在某些复杂的神经形态数据集上，Stable Spike方法可能仍然面临性能瓶颈，尤其是在高噪声环境下。
- 该方法的实现依赖于特定的硬件架构，可能在某些通用计算平台上难以实现。
- 虽然该方法在多种架构上表现出色，但其在更大规模的数据集上的性能仍需进一步验证。
未来方向
未来的研究方向包括：1) 在更大规模的数据集上验证Stable Spike方法的性能；2) 探索与其他SNN优化方法的结合，以进一步提升性能；3) 开发更通用的实现方案，使其在不同硬件平台上均能高效运行。
AI 总览摘要
脉冲神经网络（SNNs）因其低功耗和高效的时空模式捕获能力而备受关注。然而，SNNs在多时间步下的脉冲动态引入了固有的不一致性，严重影响了其表示能力。现有的方法多通过修改神经元动态来间接提升一致性，但在神经形态芯片上难以实现通用性。
Stable Spike方法通过硬件友好的“AND”位操作实现了双重一致性优化，解决了这一问题。该方法高效地将稳定的脉冲骨架从多时间步的脉冲图中解耦，捕获关键语义并减少噪声脉冲带来的不一致性。此外，通过注入幅度感知的脉冲噪声，丰富了表示的多样性，同时保持一致的语义。
这一方法的核心技术原理在于利用“AND”位操作提取稳定的脉冲骨架，并通过幅度感知的脉冲噪声增强泛化能力。实验结果表明，Stable Spike方法在多种SNN架构和数据集上均表现出色，尤其是在超低延迟的情况下，显著提升了神经形态对象识别的性能。
在DVS-Gesture数据集上，Stable Spike方法在超低延迟的情况下将准确率提高了8.33%。在CIFAR10-DVS数据集上，使用Stable Spike方法的VGG-9架构在4个时间步下的准确率达到77.1%，相较于基线模型提升了4.2%。
这一方法的提出为SNN在低功耗、高性能计算中的应用提供了新的可能性，推动了神经形态计算的发展。然而，Stable Spike方法在某些复杂的神经形态数据集上可能仍然面临性能瓶颈，未来的研究将继续探索其在更大规模数据集上的性能表现。
深度分析
研究背景
脉冲神经网络（SNNs）近年来因其在低功耗、高效计算中的潜力而受到广泛关注。与传统的人工神经网络（ANNs）不同，SNNs通过多时间步的稀疏二进制脉冲传递信息，尤其适合在神经形态芯片上部署。然而，SNNs的脉冲动态引入了固有的不一致性，导致跨时间步的脉冲图和预测结果差异过大，影响整体性能。现有的方法多通过修改神经元动态或输出之间的引导来间接提升一致性，但这些方法在神经形态芯片上难以实现通用性。因此，如何高效地提升SNNs的预测一致性和性能仍然是一个开放的挑战。
核心问题
SNNs在多时间步下的一致性问题是其性能提升的主要瓶颈。由于神经元状态和输入电流在不同时间步的差异，导致脉冲图和预测结果的过度变化，严重影响了整体性能。虽然现有的方法通过膜电位平滑和相邻时间步的logit蒸馏来间接提升一致性，但这些方法需要修改神经元动态，难以在神经形态芯片上实现通用性。因此，如何在不修改神经元或架构的情况下高效地提升SNNs的一致性和性能是一个亟待解决的问题。
核心创新
Stable Spike方法的核心创新在于通过硬件友好的“AND”位操作实现双重一致性优化。• 首先，该方法高效地将稳定的脉冲骨架从多时间步的脉冲图中解耦，捕获关键语义并减少噪声脉冲带来的不一致性。• 其次，通过注入幅度感知的脉冲噪声，丰富了表示的多样性，同时保持一致的语义。• 此外，该方法无需修改神经元或架构即可提升SNNs的一致性和性能，具有广泛的适用性。
方法详解
Stable Spike方法的实现步骤如下：• 使用“AND”位操作从相邻时间步的脉冲图中提取稳定的脉冲骨架，减少不一致性。• 将原始脉冲图训练收敛到稳定的脉冲骨架，直接减少多时间步脉冲图之间的差异。• 注入幅度感知的脉冲噪声，丰富表示的多样性，同时保持一致的语义。• 通过反向传播实现脉冲图一致性目标函数的优化，提升SNNs的预测一致性和性能。
实验设计
实验设计包括在CIFAR10-DVS、DVS-Gesture和N-Caltech101等神经形态数据集上进行验证。基线模型包括VGG-9、ResNet-18和QKFormer等多种架构。实验指标包括准确率、延迟和功耗等。消融实验用于验证Stable Spike方法的各个组件对性能的贡献。实验结果表明，Stable Spike方法在多种架构和数据集上均能显著提升性能，尤其是在超低延迟的情况下。
结果分析
实验结果表明，Stable Spike方法在DVS-Gesture数据集上将准确率提高了8.33%，在CIFAR10-DVS数据集上使用VGG-9架构的准确率提升了4.2%。消融实验表明，Stable Spike方法的各个组件均对性能提升有显著贡献，尤其是在QKFormer架构上，性能提升至82.9%。此外，Stable Spike方法在不同架构上的表现均优于现有的最先进方法，验证了其广泛的适用性。
应用场景
Stable Spike方法在神经形态对象识别、低功耗计算和高性能计算等领域具有广泛的应用前景。• 在神经形态对象识别中，Stable Spike方法能够在超低延迟下显著提升识别性能。• 在低功耗计算中，该方法通过硬件友好的实现方式，显著降低了功耗。• 在高性能计算中，Stable Spike方法的广泛适用性使其能够与其他优化方法结合，进一步提升性能。
局限与展望
尽管Stable Spike方法在多种架构和数据集上表现出色，但在某些复杂的神经形态数据集上可能仍然面临性能瓶颈。此外，该方法的实现依赖于特定的硬件架构，可能在某些通用计算平台上难以实现。未来的研究将继续探索其在更大规模数据集上的性能表现，并开发更通用的实现方案。
通俗解读 非专业人士也能看懂
想象一下你在厨房做饭。你的目标是做出一道美味的菜肴，但厨房里有很多噪音，比如水龙头的滴答声、冰箱的嗡嗡声等。这些噪音让你很难专注于烹饪。为了做出美味的菜肴，你需要专注于关键的步骤，比如切菜、调味和烹饪。Stable Spike方法就像是一个聪明的助手，它能帮你过滤掉这些噪音，让你专注于烹饪的关键步骤。它通过一种叫做“AND”位操作的方法，帮助你提取出稳定的关键步骤，就像从噪音中提取出美味的菜肴。此外，它还会在适当的时候加入一些“调味料”，让菜肴更加丰富多样。这种方法不仅能让你做出美味的菜肴，还能让你在不同的厨房中都能游刃有余。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！今天我们来聊聊一个超级酷的东西，叫做Stable Spike。想象一下，你在玩一个超级复杂的游戏，里面有很多关卡和挑战。每个关卡都有不同的障碍和敌人，你需要快速反应才能过关。但有时候，游戏里的噪音和干扰让你很难集中注意力。Stable Spike就像是一个神奇的道具，它能帮你过滤掉这些噪音，让你专注于打败敌人。它通过一种叫做“AND”位操作的方法，帮你找到游戏中的关键点，就像找到通关的秘籍。此外，它还会在适当的时候给你一些额外的帮助，让你在游戏中更加灵活。这种方法不仅能让你轻松过关，还能让你在不同的游戏中都能表现出色。是不是很酷？
术语表
Spiking Neural Networks (脉冲神经网络)
一种模仿生物神经系统的神经网络，通过多时间步的稀疏二进制脉冲传递信息，适合低功耗计算。
在本文中，SNNs用于神经形态对象识别。
Temporal Spike Dynamics (时间脉冲动态)
SNNs中脉冲信号在不同时间步的变化，影响网络的一致性和性能。
本文中，时间脉冲动态是导致不一致性的主要原因。
Bitwise AND Operation (位操作)
一种硬件友好的操作，用于提取二进制数据中的稳定元素，减少噪声。
在本文中，用于提取稳定的脉冲骨架。
Stable Spike Skeleton (稳定脉冲骨架)
通过位操作从多时间步的脉冲图中提取的关键语义信息，减少不一致性。
本文中，稳定脉冲骨架用于指导原始脉冲图的训练。
Amplitude-aware Spike Noise (幅度感知脉冲噪声)
一种根据脉冲发放率幅度生成的噪声，增强表示的多样性，同时保持一致的语义。
在本文中，用于丰富表示的多样性。
Neuromorphic Object Recognition (神经形态对象识别)
利用SNNs识别神经形态传感器捕获的稀疏二进制事件数据，具有低功耗和低延迟的优势。
本文中，Stable Spike方法显著提升了神经形态对象识别的性能。
Leaky Integrate-and-Fire Neuron Model (漏积累放电神经元模型)
一种常用的SNNs神经元模型，平衡了生物合理性和实现的简便性。
在本文中，用于模拟SNNs的神经元动态。
Membrane Potential (膜电位)
神经元在接收到输入电流后的电位状态，决定是否发放脉冲。
在本文中，膜电位的变化影响脉冲的发放。
Ultra-low Latency (超低延迟)
在极短时间内完成计算和响应的能力，尤其适用于实时应用。
本文中，Stable Spike方法在超低延迟下显著提升了识别性能。
Perturbation Consistency (扰动一致性)
在引入噪声扰动后，网络预测结果的一致性，反映了网络的泛化能力。
在本文中，通过幅度感知的脉冲噪声实现。
开放问题 这项研究留下的未解疑问
- 1 如何在更大规模的数据集上验证Stable Spike方法的性能？目前的实验主要集中在中小规模的数据集上，未来需要在更大规模的数据集上进行验证，以评估其在复杂场景下的适用性。
- 2 Stable Spike方法在高噪声环境下的性能表现如何？虽然该方法在多种数据集上表现出色，但在高噪声环境下可能仍然面临挑战，需要进一步研究其鲁棒性。
- 3 如何在不同的硬件平台上实现Stable Spike方法？该方法的实现依赖于特定的硬件架构，未来需要开发更通用的实现方案，以便在不同平台上高效运行。
- 4 Stable Spike方法与其他SNN优化方法的结合效果如何？未来可以探索将该方法与其他优化方法结合，以进一步提升性能。
- 5 如何优化Stable Spike方法中的一致性函数？目前使用的是均方误差函数，未来可以探索其他一致性函数，以进一步提升性能。
应用场景
近期应用
神经形态对象识别
Stable Spike方法能够在超低延迟下显著提升神经形态对象识别的性能，适用于实时监控和自动驾驶等领域。
低功耗计算
通过硬件友好的实现方式，Stable Spike方法显著降低了功耗，适用于移动设备和物联网应用。
高性能计算
Stable Spike方法的广泛适用性使其能够与其他优化方法结合，进一步提升性能，适用于科学计算和大数据分析。
远期愿景
通用人工智能
Stable Spike方法的提出为实现通用人工智能提供了新的思路，通过提升SNNs的性能，推动智能系统的发展。
脑机接口
通过提升SNNs的性能，Stable Spike方法为脑机接口技术的发展提供了支持，未来有望实现更高效的人机交互。
原文摘要
Although the temporal spike dynamics of spiking neural networks (SNNs) enable low-power temporal pattern capture capabilities, they also incur inherent inconsistencies that severely compromise representation. In this paper, we perform dual consistency optimization via Stable Spike to mitigate this problem, thereby improving the recognition performance of SNNs. With the hardware-friendly ``AND" bit operation, we efficiently decouple the stable spike skeleton from the multi-timestep spike maps, thereby capturing critical semantics while reducing inconsistencies from variable noise spikes. Enforcing the unstable spike maps to converge to the stable spike skeleton significantly improves the inherent consistency across timesteps. Furthermore, we inject amplitude-aware spike noise into the stable spike skeleton to diversify the representations while preserving consistent semantics. The SNN is encouraged to produce perturbation-consistent predictions, thereby contributing to generalization. Extensive experiments across multiple architectures and datasets validate the effectiveness and versatility of our method. In particular, our method significantly advances neuromorphic object recognition under ultra-low latency, improving accuracy by up to 8.33\%. This will help unlock the full power consumption and speed potential of SNNs.
参考文献 (20)
A Simple Feature Augmentation for Domain Generalization
Pan Li, Da Li, Wei Li 等
Spike-based dynamic computing with asynchronous sensing-computing neuromorphic chip
Ole Richter, Y. Xing, M. D. Marchi 等
Rethinking Spiking Neural Networks from an Ensemble Learning Perspective
Yongqi Ding, Lin Zuo, Mengmeng Jing 等
Enhancing Training of Spiking Neural Network with Stochastic Latency
Srinivas Anumasa, B. Mukhoty, V. Bojkovic 等
QKFormer: Hierarchical Spiking Transformer using Q-K Attention
Chenlin Zhou, Han Zhang, Zhaokun Zhou 等
An Efficient Knowledge Transfer Strategy for Spiking Neural Networks from Static to Event Domain
Xiang-Yu He, Dongcheng Zhao, Yang Li 等
A 1.041-Mb/mm2 27.38-TOPS/W Signed-INT8 Dynamic-Logic-Based ADC-less SRAM Compute-in-Memory Macro in 28nm with Reconfigurable Bitwise Operation for AI and Embedded Applications
Bonan Yan, Jeng-Long Hsu, P. Yu 等
Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning
Wachirawit Ponghiran, K. Roy
Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation
Chengting Yu, Lei Liu, Gaoang Wang 等
Learnable Surrogate Gradient for Direct Training Spiking Neural Networks
S. Lian, Jiangrong Shen, Qianhui Liu 等
A Co-Designed Neuromorphic Chip With Compact (17.9K F2) and Weak Neuron Number-Dependent Neuron/Synapse Modules
Shaogang Hu, G. Qiao, X. Liu 等
CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks
Yulong Huang, Xiaopeng Lin, Hongwei Ren 等
Temporal Knowledge Sharing Enable Spiking Neural Network Learning From Past and Future
Yiting Dong, Dongcheng Zhao, Yi Zeng
BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation
Zekai Xu, Kang You, Qinghai Guo 等
Networks of Spiking Neurons: The Third Generation of Neural Network Models
W. Maass
Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks
Lin Zuo, Yongqi Ding, Mengmeng Jing 等
Neuromorphic Data Augmentation for Training Spiking Neural Networks
Yuhang Li, Youngeun Kim, Hyoungseob Park 等
EnOF-SNN: Training Accurate Spiking Neural Networks via Enhancing the Output Feature
Yufei Guo, Weihang Peng, Xiaode Liu 等
Synergy Between the Strong and the Weak: Spiking Neural Networks are Inherently Self-Distillers
Yongqi Ding, Lin Zuo, Mengmeng Jing 等
Temporal Contrastive Learning for Spiking Neural Networks
Haonan Qiu, Zeyin Song, Yanqing Chen 等