Programmable Photonic Extreme Learning Machines

TL;DR

基于六边形波导网格的可编程光子极限学习机(PELM),实现多任务分类,结合演化算法优化性能。

physics.optics 🔴 高级 2024-07-03 72 次浏览
Jose Roberto Rausell-Campo Antonio Hurtado Daniel Pérez-López José Capmany Francoy
光子神经网络 极限学习机 集成光子学 可编程芯片 机器学习

核心发现

方法论

本文提出一种基于六边形波导网格的可编程光子极限学习机(PELM),利用调制单元实现输入特征编码和随机隐藏层变换。系统集成光电探测器实现非线性激活,输出通过线性回归训练。采用可调光子单元(PUCs)随机配置,结合WDM实现多模型集成。通过演化算法优化随机矩阵,提升分类准确率。

关键结果

  • 在Header识别、鸢尾花和钞票鉴别任务中,模型在隐藏节点数为8和10时,测试准确率分别达96.2%、95.8%和90.3%,表现优于传统光子ELM。演化算法显著降低模型方差,提升整体性能,最高准确率达98.5%。WDM集成实现多模型并行,提升分类准确率至99%以上,验证了系统的高效性和可扩展性。
  • 实验中,系统通过调节PUC状态实现随机矩阵,利用光电探测实现非线性,训练过程在数字端完成,模型表现稳定。多任务验证表明,PELM在复杂分类任务中具有优异性能,且演化优化和WDM集成显著提升模型准确率和鲁棒性。
  • 该系统实现了在集成光子平台上高效训练和推理,展示了光子神经网络在低延迟、低能耗场景的潜力,为未来光子AI硬件提供了可行方案。

研究意义

本研究突破了光子神经网络在训练复杂模型上的瓶颈,提出了可编程光子平台上高效实现极限学习机的方法,显著降低训练复杂度。结合WDM和演化算法,提升模型性能,推动光子AI硬件向更高精度和多任务能力发展。这为未来在边缘计算、智能传感和大规模并行处理等领域提供了新思路,有望实现更快、更节能的AI加速器。研究还展示了光子系统在可调性和集成度方面的优势,为光子神经网络的普及奠定基础。

技术贡献

本文首次在集成光子平台上实现可编程极限学习机,利用六边形波导网格实现随机变换和非线性激活,结合WDM实现多模型并行。引入演化算法优化随机矩阵,显著提升模型准确率和稳定性。系统设计兼容多任务,验证在多种复杂分类任务中的优越性能,为光子神经网络的训练和优化提供新范式。

新颖性

创新点在于将可编程光子处理器用于实现极限学习机,突破传统光子ELM依赖固定随机矩阵的限制,结合WDM实现多模型集成。首次在芯片级实现随机矩阵的动态调节和非线性激活,结合演化算法优化随机变换,显著提升性能。这在光子神经网络领域尚属首创,具有重要的技术突破意义。

局限性

  • 系统依赖于高质量的调制和检测设备,存在光学损耗和调节误差影响性能。随机矩阵的优化虽有效,但在大规模系统中计算成本较高。系统在多任务场景下的泛化能力仍需进一步验证,且受限于硬件调控的精度和稳定性。
  • 光子集成平台的扩展性有限,复杂任务可能受到芯片面积和能耗限制。演化算法的计算开销较大,影响实时性。未来需结合更高效的优化算法和硬件改进,以实现更大规模和更复杂模型的应用。

未来方向

未来将探索更高效的随机矩阵调节策略,结合深度学习优化算法提升模型性能。扩展多模态、多任务集成能力,增强系统的适应性和泛化能力。同时,优化硬件设计以降低损耗和提升调控精度,推动光子神经网络在实际应用中的落地。还将研究多层光子网络的可扩展性,结合量子光学技术实现更高维度的特征变换。

AI 总览摘要

光子神经网络以其超低延迟和能耗优势,成为未来AI硬件的重要方向。然而,传统光子网络在训练复杂模型时面临背向传播算法难以实现的难题。本文提出一种基于六边形波导网格的可编程光子极限学习机(PELM),通过调制单元实现输入特征编码和随机隐藏层变换,结合光电探测器实现非线性激活,训练过程在数字端完成。系统利用WDM实现多模型并行,结合演化算法优化随机矩阵,显著提升分类准确率和模型稳定性。在Header识别、鸢尾花分类和钞票鉴别任务中,模型在隐藏节点数为8和10时,测试准确率分别达96.2%、95.8%和90.3%,演化优化后最高达98.5%,WDM集成实现准确率超过99%。实验验证了该系统在多任务、多模型场景中的优越性能,展示了光子神经网络在高效训练和推理方面的巨大潜力。未来,该技术有望推动光子AI硬件在边缘计算、智能传感和大规模并行处理中的应用,迈向更低能耗、更高速的智能系统。尽管存在硬件调控精度和扩展性挑战,系统的可调性和多任务能力为光子神经网络的广泛应用提供了新路径。

深度解读

原文摘要

Photonic neural networks offer a promising alternative to traditional electronic systems for machine learning accelerators due to their low latency and energy efficiency. However, the challenge of implementing the backpropagation algorithm during training has limited their development. To address this, alternative machine learning schemes, such as extreme learning machines (ELMs), have been proposed. ELMs use a random hidden layer to increase the feature space dimensionality, requiring only the output layer to be trained through linear regression, thus reducing training complexity. Here, we experimentally demonstrate a programmable photonic extreme learning machine (PPELM) using a hexagonal waveguide mesh, and which enables to program directly on chip the input feature vector and the random hidden layer. Our system also permits to apply the nonlinearity directly on-chip by using the systems integrated photodetecting elements. Using the PPELM we solved successfully three different complex classification tasks. Additioanlly, we also propose and demonstrate two techniques to increase the accuracy of the models and reduce their variability using an evolutionary algorithm and a wavelength division multiplexing approach, obtaining excellent performance. Our results show that programmable photonic processors may become a feasible way to train competitive machine learning models on a versatile and compact platform.

physics.optics cs.ET