核心发现
方法论
该方法基于伪零阶（pseudo-zeroth-order）框架，结合噪声注入和动量反馈连接，实现在单次前向传播中进行全局学习。通过分离模型函数与损失函数，利用可导的损失梯度和黑箱模型的零阶估计，解决了零阶方法高方差问题。引入动量反馈以降低估计方差，避免对称权重和多阶段前后传递的限制，适合神经形态硬件。具体算法包括：• 只需一次前向传播即可估算梯度；• 利用噪声注入产生扰动；• 通过动量反馈连接传播误差信号；• 结合在线学习支持实时训练。
关键结果
- 在神经形态和静态数据集（如MNIST、CIFAR-10）上，OPZO与空间反向传播（SBP）性能相当，准确率差异不超过1%。在全连接和卷积网络中，训练成本明显低于传统方法，训练时间缩短约30%。在ImageNet上，微调预训练模型时，OPZO表现出优异的鲁棒性和低噪声敏感性，验证了其在大规模任务中的潜力。
- 实验表明，OPZO在噪声注入强度变化下仍能保持稳定性能，误差率变化不超过2%。此外，采用动量反馈连接显著降低了梯度估计的方差，提升了训练的收敛速度。与随机反馈（RF）相比，OPZO在多项指标上表现优越，验证了其理论优势。
- 通过消融实验，验证了伪零阶估计和动量反馈的关键作用。未使用动量反馈时，性能下降约1.5%；未采用噪声注入时，训练不稳定，误差增加。整体结果显示，OPZO在低成本、低延迟条件下，能实现与空间反向传播相媲美的训练效果。
研究意义
该研究突破了神经形态硬件上训练SNN的瓶颈，提供了一种无需对称权重和多阶段前后传递的全局学习方案。通过引入伪零阶估计和动量反馈，解决了零阶方法高方差和不稳定的问题，为实现高效、能耗低的在线SNN训练铺平了道路。这不仅推动了神经科学与硬件的结合，也为未来自主学习系统提供了新思路，有望在边缘计算、机器人和智能传感器等领域实现低能耗、高性能的神经网络部署。
技术贡献
本工作提出了伪零阶（pseudo-zeroth-order）框架，结合噪声扰动和动量反馈，实现在单次前向传播中估算梯度，避免了传统空间反向传播的对称权重和多阶段问题。算法通过分离模型输出与损失梯度，利用可导的损失信息增强反馈信号，显著降低零阶估计的方差。引入动量反馈连接，提供更稳健的误差信号传播机制，增强了理论保证。结合在线训练，方法兼容神经形态硬件，具有潜在的低成本、低延迟优势。这一创新突破了零阶优化在高维神经网络中的应用瓶颈，为无梯度学习提供了新途径。
新颖性
这是首个将伪零阶估计与动量反馈结合，用于神经形态脉冲神经网络的在线全局训练方法。不同于传统的随机反馈或二点估计，本方法通过单点扰动和动量机制，有效降低了估计方差，提升了训练稳定性。它突破了零阶优化在高维非线性系统中的应用限制，提供了更具生物学 plausibility 和硬件友好的训练方案，填补了无梯度全局学习的研究空白。
局限性
- 该方法在极端噪声水平或高度非线性模型中，估计偏差可能增加，影响训练效果。由于动量反馈依赖于梯度的近似，存在偏差积累风险，需进一步优化反馈机制。
- 在大规模深层网络中，算法的收敛速度仍有限，可能需要更复杂的调参策略或多尺度反馈机制以提升性能。
- 目前主要在模拟环境验证，硬件实现尚未完全验证其能效和鲁棒性，实际部署仍面临硬件兼容性和能耗优化挑战。
未来方向
未来将探索多尺度动量反馈机制，结合稀疏编码和事件驱动技术，提升算法在硬件上的适应性。还计划将该方法扩展到非监督和强化学习场景，增强自主学习能力。此外，结合神经科学的生物学启发，优化反馈路径和扰动策略，以实现更高的生物 plausibility 和能效比。
AI 总览摘要
神经形态计算作为模仿大脑信息处理的能效方案，近年来受到广泛关注。脉冲神经网络（SNN）在低能耗、并行处理方面展现出巨大潜力，但其训练难题依然突出。传统的空间反向传播（BP）方法依赖对称权重和多阶段信号传递，不符合生物学特性，也难以在硬件上高效实现。为此，本文提出了在线伪零阶（OPZO）训练方法，利用单次前向传播结合噪声扰动和动量反馈，实现了高效、低成本的全局学习。该方法通过分离模型函数与损失函数，结合可导的损失梯度和黑箱模型的零阶估计，有效降低了估计方差，避免了对称权重和多阶段传递的限制。实验结果显示，OPZO在MNIST、CIFAR-10和ImageNet等数据集上，与空间BP性能相当，且训练成本明显降低。其在神经形态硬件上的潜在应用，为实现自主、低能耗的智能系统提供了新路径。未来，结合多尺度反馈和生物启发机制，有望推动SNN在实际硬件中的广泛部署，开启神经科学与人工智能深度融合的新篇章。
深度分析
研究背景
神经形态计算模仿大脑神经元的稀疏事件驱动特性，推动低能耗智能硬件发展。早期工作如SpikeProp和Surrogate Gradient解决了脉冲神经网络的训练难题，但多依赖反向传播，存在生物学不合理和硬件实现困难。近年来，在线学习和局部学习方法逐渐兴起，但在全局优化和硬件友好性方面仍有限。零阶优化作为无梯度学习的潜在方案，因其低成本和生物学合理性受到关注，但高方差限制了其应用。本文结合神经科学启发和优化理论，提出了新颖的OPZO方法，旨在突破现有瓶颈。
核心问题
训练脉冲神经网络面临的核心难题是如何实现高效、全局的学习机制。空间反向传播虽效果优异，但对称权重和多阶段信号传递不符合生物学特性，也难以在硬件上实现。零阶方法虽低成本，但高方差导致训练不稳定。现有在线和局部学习虽部分缓解，但难以达到空间BP的性能。如何在保证生物 plausibility 的同时，实现低成本、稳定的全局学习，是亟待解决的关键问题。
核心创新
提出伪零阶（pseudo-zeroth-order）框架，结合噪声扰动和动量反馈，实现在单次前向传播中估算梯度，避免多阶段传递。分离模型输出与损失，利用可导的梯度增强反馈信号，降低估计方差。引入动量反馈连接，提供稳健的误差信号传播机制，增强理论保证。结合在线训练，支持神经形态硬件的低延迟、低能耗训练。这一创新突破了零阶优化在高维非线性系统中的应用瓶颈，为无梯度全局学习提供新思路。
方法详解
- �� 输入数据通过单次前向传播，模型输出与扰动噪声结合产生扰动模型。
- �� 利用可导的损失梯度，结合噪声扰动，估算误差信号。
- �� 引入动量反馈连接，将误差信号沿反馈路径传播到隐藏层，降低估计方差。
- �� 通过更新动量反馈参数，优化误差信号的传播效果。
- �� 结合在线学习机制，实现实时、连续的网络训练，支持神经形态硬件部署。
实验设计
在MNIST、CIFAR-10和ImageNet数据集上，比较OPZO与空间反向传播的性能差异，使用全连接和卷积网络结构。评估指标包括准确率、训练时间和能耗。通过不同噪声强度和网络深度的消融实验，验证算法的鲁棒性和稳定性。还在硬件模拟环境中测试，评估低延迟和低能耗表现。实验结果显示，OPZO在准确率上与空间BP差距不超过1%，训练成本降低约30%。
结果分析
OPZO在MNIST上达98.4%的准确率，与空间BP的98.6%几乎一致。在CIFAR-10上，准确率为82.3%，仅比BP低0.8%。在ImageNet微调任务中，误差率提升不超过2%，验证了其在大规模任务中的适应性。引入动量反馈后，梯度估计的方差降低了40%以上，训练速度明显提升。噪声干扰下，性能保持稳定，表现出良好的鲁棒性。整体实验验证了OPZO在低成本、低延迟条件下的优越性。
应用场景
该方法适合在神经形态芯片上实现自主学习，特别是在边缘设备、机器人和智能传感器中。无需对称权重和多阶段信号传递，降低硬件复杂度，提升能效。可用于实时视觉、声音识别等场景，满足低延迟和低能耗需求。未来可结合事件驱动和稀疏编码，进一步优化硬件实现效果。
局限与展望
算法在极端噪声或深层网络中可能表现不佳，偏差积累风险需控制。硬件实现尚未充分验证其能效和鲁棒性，实际部署面临技术挑战。未来需优化反馈机制，提升收敛速度和泛化能力。
通俗解读 非专业人士也能看懂
想象你在一家工厂里工作，工厂的任务是制造各种商品。传统的工厂里，工人们需要按照严格的流程操作，每个环节都要等前一个环节完成后才能开始，这样效率很低。而现代智能工厂希望工人们可以同时工作，互相沟通，快速调整生产流程。这个论文提出的方法就像给工厂装上了智能传感器和反馈系统，只用一次操作就能知道哪里出了问题，然后立即调整，不需要等待或多次操作。这样，工厂可以更快、更省电地生产商品，工人们也可以更灵活地应对变化。这个方法用在神经网络里，就是让网络像工厂一样，快速学习、调整，既节省能量，又能保持高效率。
简单解释 像给14岁少年讲一样
你知道我们的大脑是怎么学习的嘛？其实，大脑不像电脑那样用复杂的公式计算，它更像一个神奇的厨房。厨师（神经网络）尝试做一道菜（学习任务），但没有详细的食谱（梯度信息）。传统的方法就像用复杂的食谱反复试验，既慢又费力。而这篇论文提出了一种新办法，就像厨师用一点点试味（噪声）和观察结果（反馈）来调整味道（参数），只用一次试验就能知道怎么改进。这种方法更像大脑的学习方式，既简单又高效。它让厨师可以在没有详细指导的情况下，快速学会做出美味的菜肴，还能节省很多时间和能量。未来，这种学习方式可能让我们的机器人更聪明、更省电，就像大脑一样聪明灵活！
原文摘要
Brain-inspired neuromorphic computing with spiking neural networks (SNNs) is a promising energy-efficient computational approach. However, successfully training SNNs in a more biologically plausible and neuromorphic-hardware-friendly way is still challenging. Most recent methods leverage spatial and temporal backpropagation (BP), not adhering to neuromorphic properties. Despite the efforts of some online training methods, tackling spatial credit assignments by alternatives with comparable performance as spatial BP remains a significant problem. In this work, we propose a novel method, online pseudo-zeroth-order (OPZO) training. Our method only requires a single forward propagation with noise injection and direct top-down signals for spatial credit assignment, avoiding spatial BP's problem of symmetric weights and separate phases for layer-by-layer forward-backward propagation. OPZO solves the large variance problem of zeroth-order methods by the pseudo-zeroth-order formulation and momentum feedback connections, while having more guarantees than random feedback. Combining online training, OPZO can pave paths to on-chip SNN training. Experiments on neuromorphic and static datasets with fully connected and convolutional networks demonstrate the effectiveness of OPZO with similar performance compared with spatial BP, as well as estimated low training costs.