核心发现
方法论
本文提出了一种数字架构，直接在硬件中实现离散时间预测编码更新。每个神经核心维护其活动、预测误差和突触权重，仅通过硬连线与相邻层通信。通过统一的每神经元夹紧接口支持监督学习和推理，确保边界条件的同时不改变内部更新计划。设计基于顺序MAC数据路径和固定有限状态计划。
关键结果
- 结果1：在教师-学生回归实验中，三层网络（2→4→3）从初始MSE 0.341207迅速下降到0.004784，显示出增量tick机制的有效性。
- 结果2：在非线性回归实验中，较小网络（2→2→1）从初始MSE 0.106512下降到0.004382，表明在有限tick预算下的稳定性。
- 结果3：在架构扩展实验中，不同规模的网络在相同的tick计划下显示出快速的初始下降，随后在残差楼层稳定，验证了设计的可扩展性。
研究意义
本文的研究为物理嵌入式学习系统提供了一种新的算法基础，特别是在需要局部更新结构的嵌入式在线适应中。通过直接在硬件中实现预测编码，减少了对全局协调和集中存储的依赖，推动了在能量效率和实时学习方面的进步。这种架构可能对未来的自适应计算设备产生深远影响。
技术贡献
技术贡献包括：1) 提出了一种可组合的神经核心架构，使用顺序MAC数据路径实现离散时间预测编码更新；2) 提供了一个统一的每神经元夹紧接口，支持监督训练和推理；3) 硬件FSM阶段与预测编码计算的直接对应关系，确保了更新方程与硬件数据路径之间的可验证一致性。
新颖性
本研究首次在硬件中实现了预测编码的学习动态，而非提出新的学习规则。与现有的尖峰神经网络硬件不同，本文采用连续值神经表示，使用同步确定性RTL设计，优先考虑更新方程与硬件数据路径的直接对应关系。
局限性
- 局限1：由于采用顺序浮点数据路径，随着前馈输入的增加，tick延迟增加，可能影响大规模网络的实时性。
- 局限2：非线性激活函数及其导数的综合实现需要精心的数值设计，以确保精度和稳定性。
- 局限3：离散时间有限精度系统的收敛性和稳定性保证需要通过经验研究进行映射，理论分析仍需进一步探索。
未来方向
未来工作可包括：1) 探索并行化与面积/功耗之间的平衡，以提高架构的可扩展性；2) 研究适合综合的激活函数近似方法；3) 进行任务驱动的基准测试，以识别局部在线推理有利的应用场景。
AI 总览摘要
在现代深度学习中，反向传播是广泛使用的训练方法，但其全局误差传播和对集中存储的依赖使得在硬件中实现分布式在线学习变得困难。预测编码提供了一种替代方案，通过层间的局部预测误差动态实现推理和学习。
本文介绍了一种数字架构，能够直接在硬件中实现离散时间预测编码更新。每个神经核心维护其活动、预测误差和突触权重，仅通过硬连线与相邻层通信。通过统一的每神经元夹紧接口支持监督学习和推理，确保边界条件的同时不改变内部更新计划。
该设计基于顺序MAC数据路径和固定有限状态计划，而不是在学习基板内执行特定任务的指令序列。系统在固定的局部更新规则下演化，通过连接性、参数和边界条件施加任务结构。
实验结果表明，本文提出的架构在教师-学生回归和非线性回归任务中表现出色，验证了其在有限tick预算下的稳定性和有效性。此外，架构扩展实验显示出设计的可扩展性，不同规模的网络在相同的tick计划下显示出快速的初始下降，随后在残差楼层稳定。
本文的研究为物理嵌入式学习系统提供了一种新的算法基础，特别是在需要局部更新结构的嵌入式在线适应中。通过直接在硬件中实现预测编码，减少了对全局协调和集中存储的依赖，推动了在能量效率和实时学习方面的进步。
然而，当前设计的局限性包括随着前馈输入的增加，tick延迟增加，以及非线性激活函数及其导数的综合实现需要精心的数值设计。未来工作将探索并行化与面积/功耗之间的平衡，以提高架构的可扩展性，并进行任务驱动的基准测试，以识别局部在线推理有利的应用场景。
深度分析
研究背景
现代机器学习系统通常通过反向传播进行训练，该方法结合全局损失信息与紧密协调的前向/后向计算计划来计算梯度。尽管这种范式非常有效，但在硬件中实现完全分布式学习基板时面临挑战。反向传播需要结构化的全局误差传播、中间激活存储以及大量数据通过存储器和互连的移动。
预测编码提供了一种替代公式，其中推理和学习来自于层次结构中的预测误差最小化。标准预测编码网络（PCN）中，每一层预测其下层；每个单元仅使用本地可用的量更新其状态和突触权重：其自身的活动、其自身的预测误差、来自上层的突触前活动和来自下层的预测误差。这种局部性使得预测编码成为物理嵌入式学习系统的候选算法基板。
本文提出了一种数字微架构，直接在个体神经元级别实现预测编码方程。每个单元执行每tick的固定有限状态计划。通信严格在相邻层之间通过硬连线进行。无需共享参数存储器和全局学习阶段控制器。本文的目标不是提出新的学习规则，而是展示从预测编码风格的局部学习到结构化、可综合数字基板的具体映射。
核心问题
反向传播要求全局协调，这与分布式生物学习和某些嵌入式硬件系统类别难以调和。首先，标准梯度计算需要通过整个网络向后传播误差信息，创建了一个不完全局部的依赖结构。其次，训练通常组织成不同的阶段（前向、后向、更新），需要同步和中间激活的存储。第三，反向传播假设计算图的可微性，而生物系统涉及不连续和随机信号。虽然这些问题并不妨碍反向传播在传统加速器上的实现，但它们激励了对能够容纳局部更新结构的嵌入式在线适应的替代学习公式的研究。
核心创新
本文的核心创新在于：
- �� 提出了一种可组合的神经核心架构，使用顺序MAC数据路径实现离散时间预测编码更新。这种设计允许每个神经核心维护其活动、预测误差和突触权重，仅通过硬连线与相邻层通信。
- �� 提供了一个统一的每神经元夹紧接口，支持监督训练和推理。这个接口通过施加边界条件来支持学习和推理，同时保持内部更新计划不变。
- �� 硬件FSM阶段与预测编码计算的直接对应关系，确保了更新方程与硬件数据路径之间的可验证一致性。这种设计优先考虑直接、可验证的对应关系，而不是事件驱动的尖峰系统提供的能量效率增益。
这些创新使得预测编码能够直接在硬件中实现，减少了对全局协调和集中存储的依赖。
方法详解
本文提出的数字架构直接在硬件中实现离散时间预测编码更新，具体方法如下：
- �� 每个神经核心维护其活动、预测误差和突触权重，仅通过硬连线与相邻层通信。每个核心对应一个索引单元，维护其本地状态和参数，并仅通过硬连线与相邻层通信。
- �� 设计基于顺序MAC数据路径和固定有限状态计划，而不是在学习基板内执行特定任务的指令序列。系统在固定的局部更新规则下演化，通过连接性、参数和边界条件施加任务结构。
- �� 通过统一的每神经元夹紧接口支持监督学习和推理，确保边界条件的同时不改变内部更新计划。该接口通过施加边界条件来支持学习和推理，同时保持内部更新计划不变。
- �� 硬件FSM阶段与预测编码计算的直接对应关系，确保了更新方程与硬件数据路径之间的可验证一致性。这种设计优先考虑直接、可验证的对应关系，而不是事件驱动的尖峰系统提供的能量效率增益。
实验设计
实验设计包括教师-学生回归和非线性回归任务，验证了本文提出的架构在有限tick预算下的稳定性和有效性。教师-学生回归实验中，三层网络（2→4→3）从初始MSE 0.341207迅速下降到0.004784，显示出增量tick机制的有效性。在非线性回归实验中，较小网络（2→2→1）从初始MSE 0.106512下降到0.004382，表明在有限tick预算下的稳定性。
此外，架构扩展实验显示出设计的可扩展性，不同规模的网络在相同的tick计划下显示出快速的初始下降，随后在残差楼层稳定。实验通过Verilator仿真实现，使用公开的RTL实现，学习和推理完全通过夹紧和学习率参数控制，而无需改变内部神经核心计划。
结果分析
实验结果表明，本文提出的架构在教师-学生回归和非线性回归任务中表现出色，验证了其在有限tick预算下的稳定性和有效性。教师-学生回归实验中，三层网络（2→4→3）从初始MSE 0.341207迅速下降到0.004784，显示出增量tick机制的有效性。在非线性回归实验中，较小网络（2→2→1）从初始MSE 0.106512下降到0.004382，表明在有限tick预算下的稳定性。
此外，架构扩展实验显示出设计的可扩展性，不同规模的网络在相同的tick计划下显示出快速的初始下降，随后在残差楼层稳定。实验通过Verilator仿真实现，使用公开的RTL实现，学习和推理完全通过夹紧和学习率参数控制，而无需改变内部神经核心计划。
应用场景
本文提出的架构适用于需要局部更新结构的嵌入式在线适应场景。通过直接在硬件中实现预测编码，减少了对全局协调和集中存储的依赖，推动了在能量效率和实时学习方面的进步。该架构可能对未来的自适应计算设备产生深远影响，特别是在需要局部更新结构的嵌入式在线适应中。
此外，该架构的可扩展性使其适用于不同规模的网络，能够在相同的tick计划下显示出快速的初始下降，随后在残差楼层稳定。这种设计可能在未来的自适应计算设备中发挥重要作用，特别是在需要局部更新结构的嵌入式在线适应中。
局限与展望
当前设计的局限性包括随着前馈输入的增加，tick延迟增加，以及非线性激活函数及其导数的综合实现需要精心的数值设计。离散时间有限精度系统的收敛性和稳定性保证需要通过经验研究进行映射，理论分析仍需进一步探索。
未来工作将探索并行化与面积/功耗之间的平衡，以提高架构的可扩展性，并进行任务驱动的基准测试，以识别局部在线推理有利的应用场景。此外，还需研究适合综合的激活函数近似方法，以确保精度和稳定性。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。每个神经核心就像一个厨师，负责自己的工作台，只与旁边的厨师交流。预测编码就像是厨师们根据邻桌的菜品调整自己的菜谱，以减少误差。每个厨师都有自己的食材、调料和工具，只需关注自己的工作，不用担心整个厨房的运作。
这种方法减少了对中央指挥的依赖，就像每个厨师都能独立完成自己的菜品，而不需要主厨的指挥。通过这种方式，厨房可以更高效地运作，每个厨师都能根据邻桌的反馈快速调整自己的菜品，确保整个厨房的菜品质量。
这种设计的好处在于，即使厨房规模扩大，每个厨师仍然可以专注于自己的工作，确保菜品的质量和一致性。这种方法不仅提高了厨房的效率，还减少了对中央指挥的依赖，使得整个厨房的运作更加灵活和高效。
然而，这种方法也有其局限性。随着厨房规模的扩大，厨师之间的沟通可能会变得复杂，影响整体的效率。此外，如何确保每个厨师的菜品质量和一致性也是一个挑战。未来的工作可以探索如何优化厨师之间的沟通和合作，以提高整个厨房的效率和菜品质量。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你在玩一个超级酷的游戏，每个角色都有自己的任务，但他们只和旁边的角色交流。这个游戏的目标是让每个角色根据邻居的反馈调整自己的行动，以减少错误。
这就像预测编码，每个角色都有自己的技能、装备和任务，只需要关注自己的工作，不用担心整个游戏的运作。通过这种方式，游戏可以更高效地进行，每个角色都能根据邻居的反馈快速调整自己的行动，确保整个游戏的成功。
这种设计的好处在于，即使游戏规模扩大，每个角色仍然可以专注于自己的任务，确保游戏的质量和一致性。这种方法不仅提高了游戏的效率，还减少了对中央指挥的依赖，使得整个游戏的运作更加灵活和高效。
不过，这种方法也有其局限性。随着游戏规模的扩大，角色之间的沟通可能会变得复杂，影响整体的效率。此外，如何确保每个角色的任务质量和一致性也是一个挑战。未来的工作可以探索如何优化角色之间的沟通和合作，以提高整个游戏的效率和任务质量。
术语表
预测编码 (Predictive Coding)
一种通过最小化层次结构中的预测误差来实现推理和学习的方法。
在本文中，预测编码用于在硬件中实现局部学习更新。
RTL (Register Transfer Level)
一种用于描述数字电路的抽象层次，通常用于硬件设计和综合。
本文提出的架构在RTL级别实现预测编码更新。
神经核心 (Neural Core)
硬件中实现预测编码更新的基本单元，维护其活动、预测误差和突触权重。
每个神经核心仅通过硬连线与相邻层通信。
夹紧接口 (Clamping Interface)
一种用于支持监督学习和推理的接口，通过施加边界条件来控制神经元的状态。
本文设计的夹紧接口确保边界条件的同时不改变内部更新计划。
有限状态机 (Finite State Machine, FSM)
一种用于控制系统行为的模型，通过有限状态和状态转换来描述系统的动态。
本文的设计基于固定有限状态计划，确保更新方程与硬件数据路径之间的可验证一致性。
顺序MAC数据路径 (Sequential MAC Datapath)
一种用于实现预测编码更新的硬件设计，使用乘法累加器进行顺序计算。
设计基于顺序MAC数据路径，而不是在学习基板内执行特定任务的指令序列。
增量tick机制 (Incremental Tick Regime)
一种在有限tick预算下进行学习和推理的机制，通过逐步更新状态和权重来实现。
实验结果显示出增量tick机制的有效性，验证了设计的稳定性。
Verilator仿真 (Verilator Simulation)
一种用于验证硬件设计的开源仿真工具，支持高效的RTL级别仿真。
实验通过Verilator仿真实现，使用公开的RTL实现。
非线性激活函数 (Nonlinear Activation Function)
一种用于引入非线性特性的函数，通常用于神经网络中以提高模型的表达能力。
非线性激活函数及其导数的综合实现需要精心的数值设计。
能量效率 (Energy Efficiency)
在计算过程中消耗的能量与完成任务的效率之间的关系。
通过直接在硬件中实现预测编码，减少了对全局协调和集中存储的依赖，推动了在能量效率和实时学习方面的进步。
开放问题 这项研究留下的未解疑问
- 1 开放问题1：如何在大规模网络中保持实时性？随着前馈输入的增加，tick延迟增加，可能影响大规模网络的实时性。需要探索并行化与面积/功耗之间的平衡，以提高架构的可扩展性。
- 2 开放问题2：如何实现非线性激活函数及其导数的精确综合？非线性激活函数及其导数的综合实现需要精心的数值设计，以确保精度和稳定性。
- 3 开放问题3：如何验证离散时间有限精度系统的收敛性和稳定性？离散时间有限精度系统的收敛性和稳定性保证需要通过经验研究进行映射，理论分析仍需进一步探索。
- 4 开放问题4：如何优化架构的能量效率？通过直接在硬件中实现预测编码，减少了对全局协调和集中存储的依赖，推动了在能量效率和实时学习方面的进步。然而，如何进一步优化能量效率仍需研究。
- 5 开放问题5：如何在不同任务中验证架构的适用性？未来工作可以进行任务驱动的基准测试，以识别局部在线推理有利的应用场景。
应用场景
近期应用
嵌入式在线学习
该架构适用于需要局部更新结构的嵌入式在线学习场景，通过直接在硬件中实现预测编码，减少了对全局协调和集中存储的依赖。
实时信号处理
在实时信号处理应用中，该架构可以实现高效的局部更新，适用于需要快速响应和低延迟的场景。
自适应控制系统
在自适应控制系统中，该架构可以实现实时的局部学习和调整，提高系统的响应速度和稳定性。
远期愿景
智能物联网设备
该架构可以应用于智能物联网设备中，实现高效的局部学习和适应，推动物联网设备的智能化发展。
下一代神经形态计算
该架构为下一代神经形态计算设备提供了新的设计思路，通过直接在硬件中实现预测编码，提高能量效率和实时学习能力。
原文摘要
Backpropagation has enabled modern deep learning but is difficult to realize as an online, fully distributed hardware learning system due to global error propagation, phase separation, and heavy reliance on centralized memory. Predictive coding offers an alternative in which inference and learning arise from local prediction-error dynamics between adjacent layers. This paper presents a digital architecture that implements a discrete-time predictive coding update directly in hardware. Each neural core maintains its own activity, prediction error, and synaptic weights, and communicates only with adjacent layers through hardwired connections. Supervised learning and inference are supported via a uniform per-neuron clamping primitive that enforces boundary conditions while leaving the internal update schedule unchanged. The design is a deterministic, synthesizable RTL substrate built around a sequential MAC datapath and a fixed finite-state schedule. Rather than executing a task-specific instruction sequence inside the learning substrate, the system evolves under fixed local update rules, with task structure imposed through connectivity, parameters, and boundary conditions. The contribution of this work is not a new learning rule, but a complete synthesizable digital substrate that executes predictive-coding learning dynamics directly in hardware.
参考文献 (14)
A theory of cortical responses
Karl J. Friston
Learning representations by back-propagating errors
D. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams
The SpiNNaker Project
S. Furber, F. Galluppi, S. Temple 等
A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks
Tommaso Salvatori, Yuhang Song, Yordan Yordanov 等
On the Global Convergence of (Fast) Incremental Expectation Maximization Methods
Belhal Karimi, Hoi-To Wai, É. Moulines 等
The Forward-Forward Algorithm: Some Preliminary Investigations
Geoffrey E. Hinton
Mind Children The Future Of Robot And Human Intelligence
M. Schroder
Neuromorphic hardware in the loop: Training a deep spiking network on the BrainScaleS wafer-scale system
Sebastian Schmitt, Johann Klaehn, G. Bellec 等
A View of the Em Algorithm that Justifies Incremental, Sparse, and other Variants
Radford M. Neal, Geoffrey E. Hinton
Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects.
Rajesh P. N. Rao, D. Ballard
Loihi: A Neuromorphic Manycore Processor with On-Chip Learning
Mike Davies, N. Srinivasa, Tsung-Han Lin 等
The free-energy principle: a rough guide to the brain?
Karl J. Friston
An Approximation of the Error Backpropagation Algorithm in a Predictive Coding Network with Local Hebbian Synaptic Plasticity
James C. R. Whittington, R. Bogacz
Backpropagation and the brain
T. Lillicrap, Adam Santoro, Luke Marris 等